У Закревских был только один ребенок – дочь Лидия (1826–1884), которую они оба безгранично любили. Закревский, знавший об изменах жены, не пытался развестись или разъехаться с ней из-за интересов их дочери. Закревские смогли заинтересовать Лидией Дмитрия Нессельроде – сына самого могущественного по тем временам после императора человека в стране – Карла Нессельроде. В 17 лет Лидию Закревскую выдали замуж, хотя она сама не стремилась к браку с Д.К. Нессельроде. Их семейная жизнь незаладилась сразу после свадьбы. Лидия чуть ли не ненавидела мужа, любой ценой стремилась не быть с ним, хотела уехать «лечить нервы» на воды, лечиться от головной боли за границей. В конце концов она уехала в Париж, где стала себя вести чрезвычайно вольно. Средства для роскошной жизни за границей предоставляли ей муж и особенно отец. Широкую огласку получил роман Лидии с 25-летним Александром Дюма (сыном). Дюма-сын обосновался в доме графини Нессельроде в Париже, они редко разлучались и не скрывали своих отношений. Приехавший в 1851 г. для наведения порядка в семейных делах Д.К. Нессельроде заставил неверную 25-летнюю жену вернуться в Россию. Их семейная жизнь не складывалась и стала сущим мучением для них. Тогда Нессельроде отправил Лидию к ее отцу, а в письме написал тестю, что жить с его дочерью больше не собирается и оставляет себе их годовалого сына. На все просьбы жены и тестя о разводе он отвечал отказом. Так Лидия Нессельроде оказалась в положении «соломенной вдовы». В Москве две первые дамы города – мать и дочь Закревские (первая в 50 лет и старше, другая в возрасте под 30 лет) вели вольный образ жизни, устраивали вечера с сомнительными развлечениями, о которых судачили москвичи. На балах и вечерах Лидия не ощущала нехватки кавалеров, но надежды создать полноценную новую семью не было, так как она не имела развода. Тревоги за будущность дочери сблизили А.Ф. и А.А. Закревских, они стали добрее и внимательнее друг к другу, несчастье дочери объединило их и принесло им единомыслие.
Когда Лидии было 26 лет, у ее отца мелким чиновником начал свою службу 19-летний родовитый (из древнего рода полоцких князей), но небогатый Дмитрий Друцкой-Соколинский. Он, как и многие другие, влюбился в Лидию. Но это был не флирт, а первая сильная страсть, которая за 6 лет окрепла в истинную любовь. Поверила в сильную и единственную возможную только к ней любовь князя Д. Друцкого и сама Лидия. Карьера князя Д. Друцкого в Москве складывалась удачно, но он подал прошение об отставке. После этого они с Лидией пришли к А.А. Закревскому с признанием их отношений, сказали, что любят друг друга и хотят обвенчаться тайно. Тогда Д. Друцкому было 25 лет, а Лидии Нессельроде – 32 года. Любящий отец Закревский сказал, что не возражает против их тайного венчания, обещал сделать для этого все возможное и невозможное. Дело было опасное. Тогда венчание при живом муже приравнивалось к уголовному преступлению. Закревский во имя счастья дочери пошел на преступление, хотя знал, что расплата за это для него будет очень суровой. Лидия Нессельроде получила официальный документ, в котором ее называли бывшей в замужестве первым браком, т. е. констатировали факт ее свободного семейного статуса, и дозволяли вступить во второй брак. Так генерал-губернатор Москвы граф Закревский пошел на подлог, допустил нарушение закона. В 1859 г. его любимая 33-летняя дочь Лидия обвенчалась с князем Д. Друцким. После этого они уехали за границу, а Закревский чистосердечно написал обо всем императору Александру II. Закревского уволили со всех должностей, исключили из членов высшего законодательного органа России – Государственного совета. Император должен был так отреагировать на нарушение закона Закревским, но и после его увольнения он относился к нему с большим вниманием. Лидия и ее муж были вынуждены жить за границей, но они вдвоем были счастливы. В 1859 г. у них родилась дочь Маша, а в 1862 г. – сын Арсений. Закревский дважды приезжал к ним, очень полюбил внуков, подолгу жил в их семье, радовался семейному счастью любимой дочери. После смерти Закревского дети Лидии и Дмитрия Друцкого-Соколинского получили право носить фамилию их отца. В 1876 г. – через 17 лет после венчания Дмитрия и Лидии, – им разрешили вернуться в Россию. Лидию стали называть княгиней Друцкой-Соколинской. Закревский, умерший в Италии, когда он гостил в семье дочери, был похоронен в окрестностях Флоренции. После его смерти его вдова А.Ф. Закревская летом жила в Ливорно, а в остальное время года – во Флоренции, где она умерла в 1879 г. и была похоронена в усыпальнице рядом с мужем.