Против нападок Гюго большинство Собрания избрало два способа защиты: его подвергали осмеянию и ему напоминали его прошлое. Монталамбер сказал, что Гюго поддерживал все партии, а затем от всех отрекался. Он отверг это обвинение и блестяще защищался. Но тем не менее его жизни угрожала опасность. В Собрании распространились зловещие слухи. Большинство депутатов желало спровоцировать, хотя бы с помощью полиции, мятеж, для того чтобы потопить его в крови. Случайный выстрел мог сразить любого мешающего человека. Полковник Шаррас (либерал) сказал Гюго: «Остерегайтесь». Он ответил: «Ну вот еще! Да пусть они посмеют явиться ко мне, – в моей келье одни только стихи да незавершенные строфы валяются повсюду, я лишь посмеюсь над ними». Ему
Он чувствовал бы себя более сильным в общественной жизни, будь его личная жизнь менее сумбурной и достойной осуждения. Долг, признательность, любовь, желание делали его рабом прежних привязанностей и мимолетных увлечений. Три женщины, почти три супруги – Адель, Жюльетта и Леони, – жили невдалеке друг от друга, на склонах Монмартра, в тесном кругу; каждой из них он должен был уделять время и навещать одну вслед за другой, всегда рискуя встретить, когда он идет под руку с Жюльеттой, свою жену или Леони, которые подружились на почве вражды к Жюльетте, наиболее опасной сопернице.
Жюльетта, оставаясь в тени, следила за похождениями своего повелителя и «смиренно таила свою великую любовь» в глубине квартала Родье, в мрачном тупике, где она жила «в непрестанном одиночестве и скуке». Редко выпадало на ее долю счастье сопровождать своего друга в парламент или в Академию, слушать там его речи либо изредка принимать его у себя дома. Каждое утро она отправлялась посмотреть издали на два окна его кабинета – Гюго разрешил ей наконец (в 1845 году) выходить из дому на прогулку. Она еще не знала, какую роль в его жизни играет Леони д’Онэ, и с недоверием относилась к другим женщинам, ибо он не мог устоять перед теми, кто искал с ним близкого знакомства: кафешантанная певичка Жозефина Фавиль; светская дама госпожа Роже де Женет; Элен Госен, осужденная за воровство; поэтесса Луиза Колле; экспансивная незнакомка Натали Рену; авантюристка Лора Депрес; артистка Комеди Франсез Сильвани Плесси; особа, именовавшая себя виконтессой дю Валлон, о которой Вьель-Кастель сказал, что «она выдала трех своих дочерей-красавиц замуж так, словно совершила хорошую коммерческую сделку»; куртизанка Эстер Гимон; быть может, Рашель. Гюго, который в дни добродетельной молодости придавал большое значение целомудрию, высказывал теперь на любовь взгляды в духе Шелли:
Когда 29 апреля 1851 года умерла от апоплексического удара Фортюне Гамлен, «в смятенье сердце» кричало на все голоса. Смерть эта явилась печальным событием для Гюго, который потерял верного друга, а для Леони – катастрофой; после развода с мужем Леони нашла в лице этой умной женщины близкого друга, проводила с ней почти все вечера либо дома, либо в театре. Лишенная помощи многоопытной светской красавицы, которая с годами обрела мудрость, бывшая госпожа Биар, поразмыслив о своей судьбе, решила, что она погубила свою жизнь ради Виктора Гюго, а поэтому он должен посвятить ей большую часть своей жизни и, уж по крайней мере, должен ради нее пожертвовать Жюльеттой. Она не раз пыталась добиться от своего любовника этого разрыва, но всегда наталкивалась на решительный отказ.
Когда в 1849 году она стала угрожать Гюго, что все откроет Жюльетте, он грубо ее одернул.