На другой же день генерал отправил меморандум министру Талейрану, в котором настоятельно требовал: никаких представителей Швеции с репутацией,
Выполнив все свои задачи, Ферзен отправился в Германию, где вновь встретился с Кроуфордами. Элеонора по-прежнему не желала соединить свою жизнь с фон Ферзеном. В 1797 году эпизод, достойный комедии положений, столь любимой французами, навсегда оборвал эту связь. И. М. Симолин, бывший русский посол в Париже, по ошибке передал письмо Элеоноры, предназначенное Ферзену, Кроуфорду. У того наконец-то открылись глаза на эту долголетнюю измену его спутницы, и он смертельно обиделся на соперника. Отомстить Кроуфорд смог обычным способом, выставив в мемуарах на первый план свою роль в защите королевской четы и сведя к нулю все усилия фон Ферзена.
Кроуфорды возвратились в Париж, где Квентин восстановил часть своих коллекций, заработал солидную репутацию изданием трудов по Индии и организовал в своем особняке настоящее гнездо шпионажа в пользу Англии. При Империи Кроуфорды смогли сблизиться с императрицей Жозефиной. В марте 1802 года Квентин женился на Элеоноре, причем не только в мэрии Парижа, но и дважды обвенчался с ней, как по англиканскому, так и по католическому обряду. Вследствие этого все последующие попытки родственников Кроуфорда лишить вдову наследства после смерти мужа в 1817 году оказались безуспешными. Элеонора царила в салоне, который при всех режимах был очень популярен (с 1804 по 1807 год он располагался во дврце Матиньон, ныне резиденции премьер-министра Франции). Именно там Талейран при получении известия о смерти Наполеона в 1821 году в ссылке на острове Св. Елены, на возглас Элеоноры:
При Людовике ХVIII, который проявлял особое благоволение к Элеоноре, она получила возмещение в сумме 1700 000 ливров и до самой смерти продолжала ослеплять всех на балах сиянием роскошных драгоценностей.
Таким образом, фон Ферзен оказался свободен от этой привязанности. Вскоре скончался любовник его сестры Софи, барон фон Таубе, завещав старому другу часть своего состояния. В 1800 году ушла в мир иной мать фон Ферзена, и Софи получила в наследство красивый замок, где она часто проживала вместе с братом. Они также путешествовали вдвоем, причем навестили сестер Марии-Антуанетты, эрцгерцогиню Марию-Элизабет, аббатиссу капитула Благородных дам в Инсбруке и Марию-Амелию, герцогиню Пармскую (Парма тогда была суверенным герцогством).
По возвращении в Швецию фон Ферзен был назначен ректором местного старейшего и одного из самых уважаемых университетов Европы в Упсале. Обычно этот пост занимали либо архиепископы, либо члены королевской семьи. Поскольку студенты всегда были наиболее прогрессивной прослойкой, не скрывавшей своего противостояния самодержавной власти, университет превратился в рассадник подрывного мышления, и Густав-Адольф подал в отставку с этой почетной должности, назначив на нее фон Ферзена. Тот железной рукой навел порядок и сильно укрепил материальную базу учебного заведения. Ее биологическая база, основанная знаменитым ученым Линнеем, при фон Ферзене сильно обогатилась, пополнился фонд старинных рукописей; он также отдал туда свои коллекции минералов и кабинет медалей сенатора Ферзена.
Ферзен играл одну из центральных ролей в своем роскошном одеянии члена ордена Серафимов на короновании Густава-Адольфа и был пожалован званием Великого маршала королевства. Впрочем, его обязанности были совершенно необременительны, и к этому времени относятся его непродолжительные связи с женщинами, с княгиней Екатериной Николаевной Меншиковой, одной или двумя немецкими принцессами и Эмилией фон Геер из семьи старинных друзей, которая в конце концов вышла замуж за его племянника Карла, сына Софи.