Первое время молодые были счастливы. Но вскоре судьба матери повторилась с дочерью. После рождения сына она заболела, и муж охладел к ней. Вероятно, и недоброжелательство тещи внесло свою лепту в семейную драму. Ю. П. Лермонтов завел роман с бонной сына, немкой Сесилией Федоровной; были у него связи и с дворовыми девушками. Ни для кого все это не было тайной, да и не выходило за пределы помещичьей распущенности нравов крепостнической эпохи. Но молодая пылкая женщина не пожелала смириться; начались сцены ревности. Муж отвечал гневными вспышками. Однажды, возвращаясь из гостей, он после упреков жены, сопровождаемых потоками слез, ударил ее по лицу кулаком. Спустя некоторое время мать поэта слегла в скоротечной чахотке. Она умерла 24 февраля 1817 года. На могильном памятнике отмечено, что «жить ей было 21 год, 11 месяцев и 7 дней».
Отец поэта был не хуже, а, пожалуй, даже лучше очень многих дворян своего времени. Крепостные вспоминали о нем, как о добром, даже «очень добром барине». Просто в Тарханах он пришелся не ко двору. Тяжело пережив смерть жены, он не захотел здесь больше оставаться и после девятого дня уехал в свое имение Кропотово Тульской губернии, где жил до самой смерти (в 1831 году) с матерью и тремя сестрами. Перед отъездом у него было очередное бурное объяснение с тещей, не пожелавшей отдать ему внука. Она откупилась деньгами, выдав Ю. П. Лермонтову 25 тысяч рублей. Отец рассудил, что у него нет средств дать сыну необходимое воспитание, и отступился, выговорив себе право периодически видеться с ним.
Все эти неясности породили легенду, что Ю. П. Лермонтов не был настоящим отцом своего гениального сына. Дескать, он только согласился за деньги прикрыть грех невесты, у которой была любовная связь с крепостным кучером, а тот за молчание получил вольную. Но никаких оснований относиться серьезно к этой легенде не существует.
После смерти дочери Е. А. Арсеньева продала помещику ближнего села Владыкина старый усадебный дом. Он был перенесен в это село и стоял еще в конце XIX века. На его месте Е. А. Арсеньева поставила небольшую каменную ампирную церковь Марии Египетской в память усопшей. В непосредственной близости она построила новый одноэтажный дом с мезонином и тремя балконами. Любопытную подробность и сообщает Шугаев:
«Из дома, несмотря на… ничтожное расстояние, Елизавету Алексеевну почти всегда возили вместо лошадей, которых она боялась, крепостные лакеи на двухколеске, наподобие тачки, и возивший ее долгое время крепостной Ефим Яковлев нередко вынимал чеку из оси, последствием чего было то, что Елизавета Алексеевна нередко падала на землю, но это Ефим Яковлев делал с целью из мести за то, что Елизавета Алексеевна в дни его молодости не позволила ему жениться на любимой им девушке, а взамен этого была сама к нему неравнодушна. Он не был наказуем за свои дерзкие поступки, что крайне удивляло всех обывателей села Тархан»[69]
.Лермонтову было немногим более двух лет, когда умерла его мать. Мальчик рос болезненным. Бабушка внимательно следила за каждым его шагом, впадая в панику от малейших признаков нездоровья. Внук спал в ее комнате. Стоило ему занемочь (а это случалось часто), как бабушка освобождала от работ всех дворовых девушек и заставляла их молиться о здравии молодого барина. Любым способом она стремилась создать вокруг своего ненаглядного отрока атмосферу радости. Зимой около дома устраивалась снежная гора; на Святках дом наполнялся ряжеными из крестьян, и они пели и плясали без удержу. Появление нового диковинного персонажа приводило мальчика в восторг, и он бежал в соседнюю комнату известить бабушку и описать пришедшего. На Пасху красили яйца в неимоверном количестве. С утра Светлого воскресения в зале дворовые затевали популярную игру в катание яиц; требовалось своим яйцом разбить яйцо соперника. Барчонок с азартом катал яйца, но выигрывал редко; при успехе же он бурно торжествовал. Летом на Троицу большой толпой девушки и парни отправлялись в лес, и будущий поэт возглавлял шествие.
Для забавы внука бабушка даже выписала из Москвы олененка и лосенка. Первое время он с ними охотно играл, но вскоре животные выросли и стали опасными не только для мальчика, но и для взрослых. Олень своими рогами поранил нескольких дворовых. Те отомстили ему, уморив животное голодом. Бабушка решила, что олень пал от болезни и приказала зарезать лося, опасаясь, что он тоже заболеет. Все было исполнено немедленно и в точности; мясо пошло в пищу.