24 апреля 1794 года в Швеции скончался его отец, и фон Ферзен стал обладателем огромного состояния. Но прежде чем возвратиться на родину, он вновь попытался добиться от австрийской стороны возмещения расходов всем участникам подготовки побега королевской семьи в Варенн. Его переговоры с де Мерси-Аржанто по поводу письма, который подписала королевская чета перед побегом, не прекращались:
Граф де Мерси передал деньги и имущество эрцгерцогине Марии-Кристине, сестре Марии-Антуанетте, наместнице в Австрийских Нидерландах, та, в свою очередь, отправила их племяннику, императору Францу II. Фон Ферзену предстояло долгие годы бороться за эти деньги не для себя, но для мадам Штегельман и Корф, которые в весьма стесненных обстоятельствах проживали в эмиграции в Бремене, а также для Элеоноры Салливан. Перед отъездом в Швецию фон Ферзен передал Элеоноре все свои серебряные столовые приборы и посуду, купленные им у епископа Памье и хранившиеся в Лондоне. Помимо этого Аксель нотариально оформил для нее пожизненную ренту в 24 тысячи ливров в год, выставив в качестве обеспечения свое имущество.
Он возвратился в Швецию, где каждый год поминал дорогих ему особ 21 января (день казни Людовика ХVI), 29 марта (день смерти Густава III), 20 июня (побег в Варенн) и 16 октября (казнь Марии-Антуанетты).
После шести лет отсутствия в Швеции фон Ферзен чувствовал себя там чужим.
Постепенно он приобрел вкус к управлению своими поместьями и даже стал сожалеть о том, что слишком много путешествовал. Его сестра Софи овдовела и соединилась со своим любовником бароном Таубе, но фон Ферзен по-прежнему отрицал супружескую жизнь, считая ее чем-то вроде тюремного заключения. Когда он наконец появился при дворе, то стал там своеобразным центром внимания, особенно среди женщин.
Говорили, что после гибели Марии-Антуанетты улыбка более не появлялась на его лице. За ним вновь установилась репутация высокомерного и холодного человека. К тому были основания, поскольку в 1795 году Швеция признала Французскую республику; он же до самой смерти ненавидел Сталя, бывшего посла в Париже, который проникся республиканскими идеями.
Когда состоялся обмен Мадам Руаяль на плененных комиссаров Конвента, фон Ферзен выехал в Вену, дабы попытаться выбить у австрияков деньги покойной королевской четы не для себя, а для потратившихся участников Вареннского заговора. Его мучили дурные предчувствия:
Он пробыл в Вене до июня, но не добился и тени успеха. Император Франц сослался на то, что деньги принадлежат Мадам Руаяль, временным опекуном которой он является, но та сможет распоряжаться ими лишь по достижении ею возраста 18 лет. Далее принцесса перейдет под опеку графа Прованского, теперь Людовика ХVIII. Фон Ферзен попытался встретиться с ней, но к «сироте Тампля» практически никого не допускали. Вена кишела французскими эмигрантами из среды высшей придворной знати, которых она считала виновными в смерти родителей. Фон Ферзену удалось увидеть ее лишь издалека, когда она выходила из церкви после окончания службы в сопровождении своей фрейлины.