Наполеон попытался заочно аннулировать брак брата, но папа римский отказался. Когда в апреле 1805 года судно, принадлежавшее отцу Элизабет, с Жеромом и его женой бросило якорь в Лиссабоне, на берег ее не пустили. Жером отправился в Париж упрашивать брата, а Элизабет поплыла в Голландию, где ей также не позволили сойти на берег. В результате она вместе со своим братом нашла прибежище в Англии, где в июле 1805 года родила сына. Англичане же уцепились за прекрасную возможность сделать из нее жертву своего заклятого врага. Элизабет возвратилась в Америку, брак ее с Жеромом был расторгнут по приказу Наполеона, который в возмещение нанесенного ущерба положил ей пенсию в 60 тысяч франков в год. Невзирая на свою красоту, она так и не вышла замуж, но успешно занялась бизнесом и составила себе большое состояние. Бывшие супруги больше никогда не встретились лицом к лицу, а их сын Жером-Наполеон получил право носить фамилию Бонапарт только после восшествия на престол Наполеона III.
В то время как Наполеон одерживал победу за победой на суше, Жером пытался завоевать свою порцию славы на море. После отказа от американской жены его отправили в плавание, подчинив его командованию пять кораблей. Суда базировались в Генуе, где Жером завел себе любовницу из местных, красавицу Бланку Каррега. Дабы избежать придирок со стороны брата, он подыскал ей мужа, который смотрел на шашни Бонапарта со своей женой не то чтобы сквозь пальцы, а вообще отвернувшись в сторону. Эта интрижка помогла Жерому пережить глубокий душевный кризис, а впоследствии, когда у него появилась возможность расточать королевские милости, он вознаградил супругов за доброту, проявленную по отношению к нему. Когда брат отправил его в Польшу, он прихватил с собой оперную певицу-итальянку. При всем этом Жером без счета мотал деньги и не вылезал из долгов.
Везунчику Жерому судьба в лице его брата позволила надеть на голову корону в двадцать три года. Наполеон состряпал Вестфальское королевство из части земель, отвоеванных у Пруссии, и двух довольно крупных герцогств. Государство со столицей в Касселе, невзирая на солидное по тем временам население в два миллиона человек, оставалось лоскутным одеялом, управлять которым было, в принципе, довольно сложно. Дабы придать данному образованию хрестоматийный вид, Наполеон женил брата на принцессе Вюртембергской Катарине, которая приходилась племянницей русской императрице Марии Федоровне. Она родилась в России, где ее отец Фридрих, принц Вюртембергский, находился на военной службе и даже принял участие под командованием Потемкина в завоевании Крыма. Он был человеком чрезвычайно тяжелого характера, тиранил жену, скончавшуюся при загадочных обстоятельствах, когда девочке было всего 5 лет. Наполеону очень нравилась эта миловидная полнотелая смиренная принцесса, и на свадьбу он подарил ей роскошное жемчужное ожерелье из нанизанных на семь нитей 384 зерен высочайшего класса. Выросшая в бедности Катарина была ослеплена своим превращением из Золушки в королеву и до беспамятства влюблена в молодого и обаятельного мужа.
Жером не собирался морочить себе голову сложностями экономического развития государства, считая, что самое главное – это придать блеск своему двору. Он наприглашал туда видных деятелей искусства, таких, как, например, знаменитого балетмейстера Филиппа Тальони и композитора Бетховена. Но, по его мнению, истинный блеск двору придавало количество любовниц повелителя. По слухам, он имел пятерых одновременно, причем успешно гасил ревность их мужей доходными должностями. По его мнению, женская часть придворного штата существовала исключительно для доставления удовольствия королю. По отзывам одного из современников, «не было почти ни одной придворной дамы, на чью супружескую верность его величество не покушался бы». Даже его дочь, принцесса Матильда, подтверждала: «Мой отец, приятнейший из людей, простирал свои похождения до бесстыдства». Королева Катарина плакала навзрыд, но, в конце концов, прощала своего мужа и безропотно соглашалась стать крестной матерью очередного плода его похождений. Добродетельные матери Касселя, столицы Вестфалии, боялись отпускать своих юных дочерей на придворные балы.
Мнения расходятся по поводу того, скольким побочным детям Жерома дали жизнь его возлюбленные. В 1810 году две кассельские актрисы, мадмуазель Делетр и мадмуазель Йогерманн почти одновременно произвели на свет его отпрысков. Намного позже он опустился до того, что соблазнил собственную племянницу, Элизу-Наполеону, дочь своей сестры Элизы, жену графа Камерата, и стал отцом ее сына Шарля-Наполеона. Любопытно, что именно законные потомки Жерома на сегодняшний день являются официальными представителями династии Бонапартов.