В Петербурге никогда никого не возвещали с большим шумом и не ожидали с большим нетерпением, как его. Я помню, как в Царском Селе императрица, спускаясь, в сопровождении принца Нассауского, по маленькой лестнице колоннады и завидев меня, крикнула мне издали: «Отгадайте, кого мы здесь через две недели увидим!» Шуазель не мог мне прийти в голову, так как я знал о нем лишь из его сочинения, которое я как-то перелистывал. «Граф Шуазель! — продолжала императрица, — мне доносят, что он уже вступил на нашу территорию и может быть здесь скорее, чем мы думаем». Она произнесла эти слова с таким увлечением, что я приписал это литературной известности Шуазеля, соблазнившей, вероятно, фаворита Зубова, а также симпатиям, которые императрица всегда питала к парижским остроумцам. И вот, по истечении месяца, к нам прибыло возвещенное чудо и на первый же взгляд было оценено гораздо ниже своей репутации. При Дворе, а особенно при тогдашнем Петербургском Дворе не долго ломали голову над людьми, и вновь прибывший человек быстро подвергался критике, после чего он, через какие-нибудь сутки или одобрялся, или же безапелляционно осуждался.
Граф Шуазель был небольшого роста, широк в плечах, с приятными жестами и огромными черными бровями, торчащими на лбу, как конский волос из лопнувшего тюфяка; его маленький нос напоминал клюв попугая; его взгляд казался слишком обдуманным, а лицо было чересчур разгоряченно; его черты выдавали более хитрость, чем ум, а под его размашистыми и простыми манерами скрывалась некоторая неловкость. На груди ни звезды, ни ленты, а лишь маленький крестик св. Людовика в бутоньерке. Всего этого было достаточно для его осуждения и падения с самого порога. Так как Шуазель уже несколько лет тому назад выехал из Франции, то этот главный предмет для разговоров того времени оказался мало интересным в его устах. Он, между прочим, рассказывал, что Отэнский епископ Таллейран, его близкий друг и товарищ детства, не признает долга в четыреста тысяч франков, которые он ему отдал на хранение; это обстоятельство показалось довольно пикантным. Но на следующий день он опять об этом заговорил и это уже показалось пошлым. В обществе Шуазелю столь же мало повезло, как и при Дворе. Смешная страсть к одной великосветской кокетке окончательно лишила его симпатии. Ее Величество, обещавшая ему место президента Академии наук, как только княгиня Дашкова выйдет в отставку, стала увертываться от обещания, отказывая Дашковой в отставке, и ограничилась тем, что велела купить у Шуазеля его серебряный сервиз, представлявший значительную ценность. Наконец, граф Эстергази, поверенный французских принцев, обладавший весьма твердым положением и пользовавшийся, вопреки данным ему инструкциям, своим влиянием для того, чтобы топить тех из французских подданных, которые могли бы его затмить, нашел Шуазеля достойным предметом для своих интриг и окончательно погубил его в глазах императрицы. Вот доказательство тому: однажды вечером, когда я стал утверждать, что нельзя более приятно и поучительно толковать о всем, касающемся искусств, чем это делает Шуазель — что была сущая правда — императрица обошлась со мною довольно круто, посоветовал мне не решать вопросов которых я не понимаю.
Некоторые лица, из чувства ли справедливости, или из расчета, старались, в разное время восстановить его репутацию. Это попробовал между прочим сделать граф Марков, по просьбе своей возлюбленной г-жи Гюс, но несмотря на его влияние у императрицы, все было тщетно, и Шуазель мог попасть ко Двору не иначе, как в толпе остальных царедворцев. Эта опала, по-видимому сильно огорчавшая его, при перемене царствования сама собою поставила его в ряды почетных жертв предшествовавшего режима. Павел I допустил его в свою интимную компанию, назначил его президентом Академии художеств, поручил ему знаменитую Варшавскую библиотеку и, что лучше всего этого, подарил ему поместье в Самогитии, дающее 50 000 руб. дохода, благодаря чему он стал гораздо богаче, чем он когда-либо был, так как все, что он раньше имел, принадлежало не ему, а его жене. Но легкость, с которой он попадал под влияние первой встречной женщины, оказавшей снисхождение к его безобразной внешности, затем некоторые ростовщические дела, скомпрометировавшие его имя, а больше всего — ненависть новых министров к эмигрантам, низвели его скоро до худшего состояния, чем он находился при смерти Екатерины. О нем еще раз вспомнили на один момент, когда было решено поставить Суворову памятник. Его пригласили, спросили его совета и он мог подумать, что входит опять в милость; но 21 января 1800 г. он был выслан из Петербурга за то, что обедал у графа Кобенцля, австрийского посла, которому тогда было запрещено появляться при Дворе, а, может быть, и за то, что он разговаривал с Дюмурье, относительно которого Павел еще сам не знал, как ему быть.