В 1811 году Жером завел роман с дамой, выделявшейся роскошной фигурой, Дианой де Фройндштайн, женой барона фон Паппенхайма, который не только был на тридцать лет старше нее, но еще и страдал умственной неполноценностью, отчего она постаралась поскорее пристроить его в приют для душевнобольных. Сама она ранее была фрейлиной жены великого герцога Саксен-Веймарского, Марии Павловны, сестры Александра I, но Жером поселил ее в одном из своих поместий. Именно там в сентябре 1811 года Диана родила дочь Женни, крестным отцом которой стал Жером. Естественно, официально малышка считалась дочерью барона фон Паппенхайма. Но, когда в 1813 году у Дианы родилась Полина, ее пришлось спрятать, поскольку барон к тому времени скончался. Девочку отвезли в Париж, где пристроили на воспитание.
Когда королевство Вестфалия развалилось одновременно с падением империи Наполеона, Диана вернулась в Веймар, где в 1817 году вышла замуж за Эрнста фон Герсдорфа, министра герцога Веймарского. Таким образом Женни получила доступ ко двору, играла с детьми великого герцога, а затем вошла в семью великого Гете и стала воспитательницей его внучки Альмы. Она присутствовала при приеме всех знаменитостей, которые посещали великого старца, беседовала с ним и пользовалась его благоволением.
В 1838 году Женни, пережив тяжелую личную трагедию (ее возлюбленный скончался от чахотки), вышла замуж за барона Гоштедта, поселилась вместе с ним в собственном замке в Пруссии и родила четырех детей. Она очень активно занималась благотворительностью и даже продала свои драгоценности, чтобы основать приют для сирот.
В 1848 году Жером Бонапарт получил возможность вернуться во Францию, где прижал к груди свою побочную дочь Полину, которая выросла и стала матерью Марией, монашкой в обители Дезуазо. Полина написала Женни письмо, раскрывающее тайну ее истинного происхождения. Женни срочно выехала в Париж, где состоялась мелодраматическая встреча дочерей с блудным отцом, презентовавшим им свои миниатюрные портреты в рамках, инкрустированных бриллиантами. Обе сестры дожили до франко– прусской войны 1870 года, испытывая мучения от раздвоения своей сущности, альзасской по матери и французской по отцу.
Если Жером совершенно пренебрегал своей преданной супругой, это не означает, что он вел себя по-иному в отношении своих любовниц. В 1811 году он, по его словам, безумно влюбился в восхитительную Эрнесту, жену принца Георга Лёвенштайн-Вертхайм-Фройденбергского. Причем сам Жером расценивал эту вспышку страсти не как преходящую интрижку, а как великую любовь всей жизни и даже некоторое время подумывал развестись с Катариной. От этой связи родились двое мальчиков, Карл-Хайнрих в 1811 году и Ашиль в 1813-м, скончавшийся в шестилетнем возрасте. Карла-Хайнриха отдали на воспитание в семью нотариуса Баха, а по достижении нужного возраста стараниями сердобольной Катарины он был принят в лейб-гвардии конный полк короля Вюртембергского. По-видимому, эта служба не устраивала его, ибо он вскоре поступил библиотекарем к королеве Гортензии в ее замок Арененберг, где также аккомпанировал ей во время пения, поправлял ее рисунки, организовывал балы и любительские спектакли. Гортензия финансировала его поездки по Европе и в Рим, где юноша был представлен своей бабушке, Летиции Бонапарт. Он также сопровождал будущего Наполеона III, когда тот предпринял попытку неудавшегося государственного переворота.
После этого Карл Бах вернулся в конный полк в Вюртемберге, где обучал верховой езде детей Жерома и Екатерины, похоже, что принцесса Матильда испытывала к нему некоторую симпатию, ибо не знала его истинного происхождения, но молодой человек сумел воздвигнуть преграду между ней и собой. Он, пожалуй, был единственным, кто не потребовал никаких привилегий после воцарения Наполеона III, хотя проводил каждый год несколько недель в императорских резиденциях во Франции и сдружился с близким ко двору писателем Проспером Мериме. Карл Бах не оставил следа в истории Германии, но его сыну Фердинанду, офранцузившему свою фамилию Бах на Бак (1859–1952), было суждено прославиться во Франции. Он состоял в приятельских отношениях со всеми видными лицами французской богемы, и сам стал видным карикатуристом, художником и журналистом. Когда ему перевалило за 60, у него открылся талант пейзажиста, оформителя садов и парков, наиболее яркий пример его творчества – парк «Ле Коломбьер» в Ментоне на Лазурном берегу.