Писатель и молодая актриса встретились в одном из парижских театров на репетиции пьесы Гюго «Лукреция Борджиа», где Жюльетте была отведена незначительная, но достаточно яркая роль. Красивая, темпераментная, обворожительная актриса не могла не остаться незамеченной. А её улыбка и вовсе сводила с ума. В то время мадемуазель Друэ уже давно была искушена в любви. Умная, свободомыслящая и независимая, она имела многочисленных любовников, за счёт которых и жила с достаточной роскошью. Она обожала богатые наряды, драгоценности, рестораны, светские вечера. Вместе с тем Жюльетта никогда не скрывала своего простого происхождения, доказывая, что каждая бедная девушка имеет право достичь всего, чего она пожелает, и стать не менее образованной, чем богатые, светские дамы. К двадцати шести годам у актрисы была дочь Клер от скульптора Прадье, но вступить в законный брак с отцом ребёнка Жюльетта так и не пожелала.
День их встречи Гюго запомнит навсегда. Через много лет он признается любимой: «У меня два дня рождения, оба в феврале. В первый раз, появившись на свет 26 февраля 1802 года, я был в руках моей матери, во второй раз я возродился в твоих объятиях, благодаря твоей любви, 16 февраля 1833 года…»
Познав десятки мужчин, слывя искушённой куртизанкой и прекрасной любовницей, Жюльетта поняла, что полюбила. Да так сильно, что дальнейшая жизнь её больше не интересовала. Ей был нужен только он — её «любимый Виктор». Она завладела его сердцем, научила его, тогда ещё робкого и нерешительного пуританина, любви и страсти. И уже спустя несколько месяцев актриса откровенно писала новому любовнику: «Я испытываю чудовищный голод по твоему телу, я советую тебе беречься моей ужасной любви…»
Спустя год после их встречи Гюго закончил новую повесть «Клод Ге», посвятив её Жюльетте. На титульном листе стояла надпись: «Моему ангелу, у которого растут крылья».
Совсем скоро об их романе заговорил весь Париж. Друзья пытались уговорить Виктора разорвать отношения с ветреной актрисой. Но Гюго, улыбаясь, отвечал, что теперь он «стал намного лучше, чем во времена своей непорочности». Он и не думал оставлять обворожительную красавицу.
Жюльетта Друэ, пожертвовав своей карьерой, покинула сцену, забыла о многочисленных поклонниках и уединилась в маленьком доме на улице Сент-Анастаз, чтобы отныне полностью посвятить свою жизнь возлюбленному.
Она стала тенью писателя, его ангелом-хранителем, рабыней, выполнявшей все желания своего господина. Жюльетта занималась личным архивом Гюго, переписывала рукописи, а когда писатель был изгнан из Франции на остров Гернси, не жена, а преданная любовница молча последовала за ним в ссылку.
Влюблённый Гюго, изнывая от ревности, часто превращался в тирана. Он не позволял любовнице выходить на улицу без сопровождения, заставлял её сидеть дома и дожидаться его прихода. Порой это ожидание длилось несколько дней, но Жюльетта покорно следовала всем указаниям Виктора. Она ждала и прощала. Она даже простила писателю недолгий, но страстный роман с молодой дворянкой Леони д'Онэ. В 1851 году новая пассия гения даже показала мадемуазель Друэ все письма, которые писал ей Гюго, чтобы доказать, что чувств у Виктора к Жюльетте больше нет. Но, пережив этот роман, Гюго опять вернулся к бывшей возлюбленной.
Будто искупая свою беспорядочную и грешную жизнь в прошлом, актриса терпела и продолжала любить своего незаконного супруга: «Видеть тебя — значит жить; слышать тебя — значит мыслить; целовать тебя — значит возноситься к небесам…»
Их переписка, в которой насчитывается около 15 тысяч писем от Гюго и 17 тысяч от Жюльетты, поражает своей нежностью, трепетностью и не прерывающейся ни на миг любовью. «Ты одна можешь решить судьбу моей жизни или моей смерти, — писал Гюго. — Люби меня, вычеркни из своего сердца всё, что не связано с любовью, чтобы оно стало таким же, как и моё». «Ты не просто солнечный спектр с семью яркими лучами, — отвечала ему Жюльетта, — ты само солнце, которое освещает, греет и возрождает жизнь. Это всё ты, а я — я смиренная женщина, которая обожает тебя».
Знаменитый сборник Гюго «Песни сумерек» был полностью посвящён любимой. Писатель не раз признавался, что его любовь важнее всего на свете: Бога, дочери, славы. Он называл любовницу «истинной женой» и продолжал испытывать к ней самые нежные чувства.
Бывший всю свою молодость пуританином, скромным и благовоспитанным супругом, на старости лет Гюго полностью отдался страсти. Самоуверенный, тщеславный, считающий себя непревзойдённым донжуаном, он часто проводил ночи с другими женщинами. Однажды Жюльетта посчитала, что с 1848 по 1849 годы у её возлюбленного было более 200 любовниц. Говорили, будто бы за несколько лет до своей смерти писатель ещё встречался с дамами, а иногда проводил с ними бурные ночи.