По условиям контракта супруги должны были жить с семьей Пото. Там, на улице Пуассоньер, они и поселились. Беды Ампера начались с брачной ночи: Женни сообщила Андре- Мари о своем нежелании иметь детей. Некоторые биографы утверждают, что она не испытывала никакого физического влечения к мужу, и это подтверждает мнение о том, что Пото устроили свадьбу исключительно из материальных соображений. Заявление Женни стало тяжелым ударом для человека, который хотел заново начать свою жизнь. Через два месяца после свадьбы жена Ампера все же забеременела. Узнав об этом, Женни решила ночевать в комнате матери. Ученый остался в одиночестве в маленькой комнатке на третьем этаже и видел жену только во время совместных трапез.
Из-за этой беременности родители Женни старались сделать жизнь зятя невыносимой. Они читали его письма, не пускали к нему гостей, и за семь месяцев его дом превратился в настоящую тюрьму. Ампер искал утешения в письмах к матери: «Разве ты не знаешь, что идеального счастья не существует?» — писал он в начале декабря 1806 года. Но главной проблемой было не презрение тестя и тещи, не душная, затхлая атмосфера их дома. Хуже всего было то, что жена отказывалась говорить с ученым и во время трапез ограничивалась кивками головой. Ампер описал ситуацию в нескольких строчках, адресованных Мену де Бирану в марте 1807 года:
Между ноябрем 1806 года и июлем 1807 года Ампер жил в настоящем аду, будучи лишенным поддержки друзей и семьи, общения с ними. Мать убеждала его не уезжать из Парижа, чтобы не пожалеть об этом решении в будущем. Это много говорит о женщине, которой удалось обуздать материнский инстинкт ради будущего своего ребенка. Как писал отец Ампера перед казнью, для его сына не было ничего слишком невозможного. Чувство отверженности смешивалось с чувством вины. «У меня больше нет сил страдать», — писал Ампер Бредану. Он был на грани отчаяния и почти потерял надежду.
В июне Ампер покинул дом Пото и переехал в квартиру министерства внутренних дел, которую ему предоставил Шампаньи, где и жил в течение многих месяцев. Однако он сделал все, чтобы жена разделила с ним кров. Через два дня после переезда он написал отцу Женни, умоляя тестя позволить дочери жить с ним до рождения ребенка. Ампер послал лаконичное письмо и Женни, в котором нежно призывал ее к примирению:
Скорее всего, ответа он так и не получил. Похоже, что в июле 1807 году Ампер окончательно потерял надежду. Он писал Балланшу: «Очарованию конец». Шестого июля от консьержа в своей одинокой квартире на улице Гренелль-Сен- Жермен Ампер узнал о рождении дочери, Анн Жозефин Альбин. Не прошло и года со дня его женитьбы. В конце августа ученый ненадолго приехал в Лион, и родные места, казалось, дали ему новые силы для дальнейшей борьбы за свою семью. В ноябре он снова написал Женни, настаивая на совместной жизни. Он напоминал ей о предыдущем письме, которое осталось без ответа. В марте 1808 года Ампер предпринял еще одну попытку воссоединения, но на этот раз в письме были и легкие угрозы: ученый стремился сохранить брак хотя бы ради общего ребенка.
Из этих писем непонятно, насколько истинными были чувства Ампера к Женни. Его настойчивость могла быть связана с религиозной моралью. Суд был на стороне ученого, и в мае 1808 года вынес вердикт: жена и дочь должны жить с ним под одной крышей. Но этого Амперу было недостаточно — он искал ответных чувств, хотя и понимал, что надежды на это нет.