В 1841 году 28-летним молодым человеком Александр Николаевич женился на принцессе Гессенской и Рейнской (тоже на немецкой принцессе, как и отец) Максимилиане-Вильгельмине-Августе-Софии-Марии, после принятия ею православия нареченной Марией Александровной (1824–1880). Несмотря на то что была она женщиной хрупкой и болезненной, она родила Александру Николаевичу целый букет наследников — 6 мальчиков и 2 девочек — 8 детей, из которых их первенец — дочь Александра — умерла в семилетнем возрасте, а наследник Николай — в возрасте 22 лет в 1865 году. 8 родов в течение 19 лет окончательно подорвали здоровье Марии Александровны: в тяжелом климате Петербурга у неё развилась астма и участились острые сердечные приступы, а потому после последних родов в 1860 году врачи так же, как императрице Александре Феодоровне, матери Александра II, рекомендовали Марии Александровне воздержаться от дальнейшего деторождения, а следовательно, прекратить выполнение супружеских обязанностей. Александру II в то время было всего 48 лет, он был в хорошей форме и любвеобилен по своей натуре. Как и его отец, он волею обстоятельств оказался «соломенным вдовцом».
Естественно, у него, эстета и ценителя женской красоты, были любовницы, отличавшиеся особенной красотой, в основном из числа придворных дам и девиц. При дворе называли его фавориткой то княжну Александру Долгорукую, то Лабунскую, то Замятину, то Макарову, то Ванду Кароцци, то Макову. Все они были отменно красивы, но струн сердца императора не задевали, и он менял своих любовниц одну за другой. От этих связей были и дети. Считается, что одним из внебрачных детей Александра II был адмирал Евгений Иванович Алексеев — видный военно-морской деятель начала XX века, наместник на Дальнем Востоке, один из инициаторов войны 1905 года с Японией, окончившейся для России поражением.
На основе мемуаров княгини Марии Клавдиевны Тенишевой, где она довольно туманно, но намекает на своё происхождение от Александра II, можно считать внебрачной дочерью императора и её, необычайно энергичную и талантливую собирательницу, благотворительницу, художницу, искусствоведа и этнографа, создавшую музей «Русская старина» в Смоленске, художественную школу для крестьянских детей во Флёнове, представлявшую в Париже во время Русских сезонов русское народное искусство.
Несмотря на калейдоскоп увлечений, да еще и осложнённый внебрачными детьми, Александр II не испытывал чувства удовлетворённости: он искал настоящей любви.
Государь император любил в свободное время гулять в Летнем саду, и однажды (это было весной 1865 года) публика заметила среди прогуливающихся рядом с ним необыкновенно красивую и грациозную девушку с большими лучистыми глазами, сопровождаемую элегантной дамой. Обе они были модно и с отменным вкусом одеты. Оказалось, что Александр Николаевич давно знаком и с этой девушкой, и с её бонной — фрейлиной Варварой Шебеко. Это была княжна Екатерина Михайловна Долгорукова, которая вместе со своей сестрой училась в Смольном институте и которую император знал еще маленькой девочкой. Летом 1857 года он проводил большие манёвры под Полтавой и останавливался в имении её отца — князя Михаила Михайловича Долгорукого. Там он и увидел впервые девятилетнюю Катеньку, которая поразила его грациозностью, скромностью, непосредственностью и особенной какой-то ласковостью. Император подружился с Долгоруковыми, князем Михаилом и его женой княгиней Верой, а через несколько лет узнал., что, будучи людьми непрактичными, они разорились. Их усадьба несколько раз была описана кредиторами. Княгиня Вера Долгорукова продала всё своё золото и бриллианты, но смогла уплатить только проценты, чем на время спасла своё имение Тепловку от публичной продажи с молотка. Проведённая императором Александром II реформа 1861 года губительным образом сказалась на их благосостоянии. А в довершение всех несчастий сгорел их большой и богатый дом, в котором в 1857 году останавливался император Александр II. Несмотря на протесты мужа, княгиня Вера обратилась к государю с письмом, в котором рассказала о всех постигших семью несчастьях. Александр Николаевич счёл необходимым помочь семье, которую он знал давно, и распорядился четверых мальчиков Долгоруковых определить в кадетские корпуса Санкт-Петербурга за казённый счёт, а Катеньку и её сестричку Машеньку — в Смольный институт благородных девиц на тех же условиях. Кроме того, он остановил претензии банка к Долгоруковым, чем спас семью от окончательного разорения.
Сердце князя Михаила Михайловича, перенесшего столько несчастий, не выдержало, и он покинул сей свет, оставив вдову в одиночестве. Княгиня Вера переехала в Петербург, сняла маленькую квартирку и жила там на скромные средства дорогими для неё посещениями по воскресеньям то своих сыновей в кадетском корпусе, то своих дочерей в Смольном институте, радуясь достижениям в военном деле своих мальчиков и успехам своих девочек, стремившихся стать первыми в своих классах.