18 февраля 1804 года газета «Le Journal des debats» сообщила своим читателям следующее:
«Можно прочитать в некоторых английский газетах, что Жером Бонапарт, брат первого консула, женился в Балтиморе на мадемуазель Элизабет Паттерсон, старшей дочери господина Уильяма Паттерсона, богатого торговца этого города. Эти неверные новости о Жероме Бонапарте появились год назад, что позволяет сомневаться в их правдивости».
Узнав о несанкционированной женитьбе Жерома, Наполеон пришел в неописуемый гнев, хотя всего несколькими годами ранее наверняка счел бы такой брак неслыханной удачей. Жерому было приказано срочно вернуться к месту службы, а затем и во Францию.
Но приказы старшего брата пока не действовали на Жерома, как на него, впрочем, не действовали и никакие другие приказы. Возвращаться во Францию он явно не торопился. Фрегат «Преследующий» в марте 1804 года отправился в Европу без него, а сам он ответил министру иностранных дел Талейрану 27-го числа:
«Я очень сожалею, что не узнал раньше о намерениях моего брата, так как я должен был воспользовался фрегатом „Преследующий“, который отбыл за несколько дней до получения вашего письма!»
Через два дня он написал своей матери:
«Мои письма, в которых я сообщал вам о своей женитьбе, до вас, несомненно, дошли, моя дорогая мамочка. Эта новость должна была вас удивить, но, когда вы узнаете мою жену, я надеюсь, вы одобрите мой выбор».
Но влюбленный Жером напрасно думал, что легко отделался, и очень скоро он заметил, что его брак не пришелся по вкусу Наполеону. В июне его «ходячий кошелек» Пишон получил от Наполеона приказ прекратить всякое финансирование брата. Хуже того, он приказал своему морскому министру Дени Декре, чтобы было запрещено «всем капитанам французских судов принимать на борт молодую особу, с которой соединился браком гражданин Жером, таким образом, чтобы она никак не смогла прибыть во Францию, а если и прибудет, то чтобы она не смогла высадиться, а была бы немедленно отослана назад в Соединенные Штаты».
Сходя с ума от любви, Жером продолжал прибегать к уверткам. Но новости из Франции становились все более угрожающими. В начале августа прибыло сообщение о готовящейся коронации Наполеона и о возможном исключении Жерома по линии наследства. Кроме того, Талейран сообщил ему:
«Господин Жером Бонапарт, заключив брак, противоположный законам Франции, гражданином которой он является, не может надеяться, что этот брак будет рассматриваться как действительный».
12 октября Наполеон вбил последний гвоздь, поместив в газетах следующее объявление:
«Американские газеты часто говорят о супруге господина Жерома Бонапарта. Возможно, что господин Жером Бонапарт, молодой человек, которому нет и двадцати лет, имеет любовницу, но совершенно невозможно, чтобы у него была жена, так как законы Франции таковы, что молодой человек, не достигший двадцати и даже двадцати пяти лет, не может жениться без согласия своих родителей и не выполнив во Франции предписанные этому формальности. Господин Жером Бонапарт родился лишь в декабре 1784 года, а уже более года американские газеты выдают его за жениха».
Для разрешения всех накопившихся вопросов пора уже было ехать во Францию. Избегая французские суда, которые не могли принять его дорогую Элизабет на борт, 25 октября 1804 года Жером зафрахтовал бриг «Филадельфия». Но эта попытка отъезда провалилась, впрочем, как и вторая, предпринятая два месяца спустя. Наполеон же в Париже 22 февраля 1805 года вынудил свою мать огласить в присутствии нотариуса торжественный протест против любого брака, заключенного ее сыном Жеромом Бонапартом за границей без ее согласия и вопреки за — кону. А 2 марта был сделан запрет всем гражданским служащим Империи включать в их регистры запись акта о так называемом браке, который Жером Бонапарт заключил за границей.
Игнорируя все это, 3 марта 1805 года Жером наконец погрузился с Бэтси, ее братом Уильямом и всей своей свитой на борт брига «Эрин», принадлежавшего господину Паттерсону. 8 апреля они уже были в Лиссабоне. Там консул Франции Серрюрье сообщил им, что мадемуазель Паттерсон никак не может прибыть во Францию.
— Передайте своему повелителю, — гордо ответила уколотая в самое больное место Элизабет, — что теперь я — госпожа Бонапарт, и я требую признания своих прав в качестве члена императорской семьи.
Жером, полный решимости отстаивать права своей любимой жены, отправился во Францию один. Балтиморская же красавица, которой запретили высаживаться на португальский берег, поплыла кружным путем в Голландию, где должна была остановиться в Амстердаме и ждать вызова к императорскому двору.
В районе Трухильо, в 120 километрах от португальской границы, Жером неожиданно повстречал генерала Жюно с супругой, ехавших в Лиссабон с посольской миссией.