В 1855 г., во время Крымской войны, Толстой стал добровольцем. Но участия в военных действиях ему не пришлось принять. Под Одессой он заболел тифом. Когда он уже начал выздоравливать и не представлял опасности для окружающих, к нему, якобы ухаживать за ним, приехала расчетливая и осторожная Миллер. Толстой и этот ее трезвый шаг сполна не разгадал. После заключения мира (1856) Толстой и Миллер какое-то время жили в Одессе, где она стремилась ускорить их брак. Но мать и ряд друзей Толстого удержали его от этого, пытались ему открыть глаза на сущность этой опытной и непристойной женщины. В Петербурге Миллер жила в квартире, снятой Толстым и на его деньги. Со временем она перевезла туда семерых детей своего брата Петра, у которого умерла жена. Толстой стал содержать всех их (обеспечил воспитание, учебу, лечение, отдых и т. п.). В 1861 г., в возрасте 44 лет, Толстой вышел в отставку.
После смерти матери Толстой был совершенно сломлен, в отчаянии от душевного одиночества в 1863 г. обвенчался с Миллер, которая смогла добиться развода. Друзья Толстого оценивали Миллер в основном как искушенную авантюристку. Они видели в ней что-то сатанинское; она действительно не верила в Бога и пыталась навязать свою безбожную позицию Толстому.