Иван умер в 1868 году 29 лет от злокачественной лихорадки в городе Самарканде, только недавно взятом русскими войсками*15
. Из оставшихся сыновей Алексей Иванович больше любил Михаила из-за его широкого размаха и практической смекалки, говоря: «Я понимаю Михаила, хотя он безобразничает и безумно тратит деньги, но, где нужно и должно взять, — не упустит! Не станет свою старую карету переделывать и перемазывать, а, раз деньги есть, купит новую!» Этими словами он намекал на старшего сына Василия, отличавшегося скаредностью и непрактичностью, скромно живущего, изображавшего из себя бедняка, часто мечтая: «Хорошо бы иметь теплое, мягкое меховое одеяло». Купить одеяло он мог бы всегда, даже при жизни отца, но не сделал даже тогда, когда имел несколько сотен тысяч годового дохода, так и скончался со своей неисполненной мечтой.Однажды Алексей Иванович увидал входящую к подъезду его дома красивую француженку с двумя детьми, когда он сидел в коляске со своим сыном Василием, готовый к выезду. Алексей Иванович пристально посмотрел на детей и обратился к смущенному сыну: «Это твои дети? Помни, их нужно обеспечить!» Дочка от француженки Мария Васильевна потом вышла замуж за доктора Владимира Алексеевича Соколова, имевшего санаторию в Ессентуках, устроенную на деньги его жены; с большими хлопотами и трудом она выручала от своего отца деньги, обещанные им при выходе ее замуж.
Михаил Алексеевич сильно кутил, сорил деньгами направо и налево, выдавал без счета векселя; когда его векселя перестали принимать, не задумался выдавать векселя с подписью отца, подделывая на них его подпись.
Наконец Алексей Иванович возмутился его поведением и решился лишить его наследства, сделал духовное завещание с отказом всего сыну Василию. Кругом Алексея Ивановича началась борьба близких ему лиц; его сожительница госпожа Ланская по просьбе своей сестры, бывшей замужем за Михаилом Алексеевичем, воздействовала на Алексея Ивановича, и незадолго до смерти он переделал духовное завещание, завещав Михаилу Ярцевскую фабрику и половину паев Товарищества Егорьевской мануфактуры.
Жена Михаила Алексеевича, Елизавета Алексеевна, была удивительно красивая женщина, такой же красотой обладала ее сестра. Алексей Иванович, бывая в Ярцеве, не мог не увлечься ею, его дети это заметили, поспешили ее выдать замуж за одного из служащих на фабрике Ярцевской мануфактуры Ланского; причем он согласился уступить свою жену Хлудову сейчас же после венчания; сделано это было из-за боязни, что, женившись на ней, Алексей Иванович может оставить свое состояние ей и могущим быть от нее детям.