Однако, обладая спокойным и незлобивым характером, граф Потоцкий не заметил перчатки, брошенной со стороны этого геттингенского профессора, удостоенного русским дворянством, и приглашающей к научному спору, чем косвенно обеспечил торжество партии норманистов в русской исторической науке того времени. Почти весь 1803 год Ян Потоцкий провел в Италии, стараясь поправить свое здоровье, покачнувшееся из-за непрестанного писательского труда и многодневных путешествий по России последних лет. В том же году во Флоренции им издано сочинение «Dynasties du second livre du Manethon» («Династии второй книги Манефона»), посвященное кардиналу Борджиа. По возвращении в Санкт-Петербург граф Потоцкий попытался воплотить в жизнь своей замысел по составлению истории отдельных губерний, составлявших Российскую империю, чему начало было положено уже в «Путешествии в Астраханские и Кавказские степи». В 1804 году им опубликовано в северной столице: «Histoire ancienne du Gouvernement de Cherson pour servir de suite a l’histoire primitive des peuples de la Russie» («Древняя история Херсонской губернии, служащая продолжением первоначальной истории народов России»). В 1805 году там же вышли две следующие части: «Histoire ancienne du Gouvernement de Podolie etc.» («Древняя история Подольской губернии») и «Histoire ancienne du Gouv. de Wolhynie» («Древняя история Волынской губернии»). Но дальнейшая работа над этим масштабным проектом не задалась, и Ян Потоцкий отказался от ее продолжения, издав в 1805 году ее подытоживающую «Histoire ancienne des provinces de l’Empire de Russie» («Древнюю историю провинций Российской Империи»), которая не что иное, как сборник трех вышеуказанных сочинений. В этом же году граф опубликовал в столице свою «Chronologic des deux premiers livres de Manethon» («Хронологию двух первых книг Манефона») и отправился в Китай в статусе члена русского посольства и в должности его ученого секретаря, возглавляемого графом Юрием Головкиным (1762–1846). Однако уже прибывшей в Ургу русской дипломатической миссии не удалось попасть в Поднебесную империю из-за ее отказа строго следовать китайскому церемониалу, откуда она отправилась обратно через Кяхту, и граф Потоцкий ограничился в своих изысканиях лишь народами, попадавшимися ему на пути до китайской границы. Один из участников миссии Филипп Вигель, в будущем известный русский мемуарист, следующим образом вспоминал о Яне Потоцком в своих «Записках»: «Странности его были заметны в самом наряде. Он был в одно время и небрежен, и чистоплотен, совсем не заботился о покрое платья своего, но всегда был изысканно опрятен. Иногда по недосугам не имел он времени дать обрезать себе волосы, и они почти до плеч у него развевались, как вдруг, в минуту нетерпения, хватал он ножницы и сам стриг их у себя на голове и вкривь и вкось, после чего, разумеется, смешил всех своею прической. В отношении к Головкину вел он себя отменно прилично, не подавал ему ни малейшего повода к неудовольствию, зато и не баловал излишнею почтительностью. Всегда углубленный в науку, он заслонял себя ею от наших сплетен, хотя и жил посреди них». Этот период в жизни выдающегося польско-русского ученого завершился изданием в 1805 году в Санкт-Петербурге «Atlas archeologique de la Russie Europeenne» («Археологического атласа Европейской России»), значительно дополненного и снова вышедшего в окончательном виде уже по смерти автора в 1823 году. Он являлся последним трудом автора, посвященным вопросам археологии и этнографии. В 1808 году Ян Потоцкий опубликовал сочинение «Examen critique du fragment Egyptien connu sous le nom d’ancienne chronique» («Критическое рассмотрение Египетского фрагмента, известного под названием древней хроники»).
Портрет Яна Потоцкого художника Антона Граффа от 1785 года