В общем, по некотором размышлении, Алексей Константинович решил покинуть военную службу, оставить двор, и тогда Государь пожаловал ему чин егермейстера, т. е. оставил должность, не требующую никакой деятельности. В этом чине Толстой остался до конца жизни, не неся никакой службы (кроме короткого периода работы в секретном комитете о раскольниках).
С середины 60-х годов некогда богатырское здоровье графа пошатнулось, в том числе из-за пристрастия к наркотикам. Поэтому большую часть времени он жил на курортах за границей, в Италии и Южной Франции, но подолгу бывал и в своих русских имениях – Пустыньке (под Петербургом) и Красном Роге (ныне Брянская обл.). Тогда же Толстой полностью погрузился в литературную деятельность и создал самые значительные свои произведения. Он писал не только на русском, но также на немецком и французском языках. Граф Толстой переводит на русский Байрона, Шенье, Гете, Гейне, шотландских поэтов, а на немецкий – русских писателей.
В эти годы он создает драматическую поэму «Дон Жуан» (1861), исторический роман «Князь Серебряный» (1863), первое собрание стихотворений (1867), драматическую трилогию «Смерть Иоанна Грозного» (1866), «Царь Федор Иоаннович» (1868), «Царь Борис» (1870).
Впрочем, Алексей Толстой так и не добился постановки всех трех пьес на российской сцене. «Смерть Иоанна Грозного» была разрешена к постановке в столицах, но на провинциальной сцене после первых спектаклей была запрещена цензурой. «Царь Федор Иоаннович» более полугода рассматривался в цензурном комитете, после чего автору предложили произвести текстуальные изъятия, а также устранить некоторых духовных лиц из сценического варианта. Во спасение целого драматург поступился частью.
Окончательный результат ошеломил Толстого: несмотря на первоначально данное цензурным комитетом разрешение, пьеса была снова запрещена к постановке. Это оказалось для Алексея Константиновича тем большей неожиданностью, что императрица Мария Александровна, которой автор читал свои произведения, выказала ему восхищение. Несколько месяцев спустя Толстой писал: «Я не горжусь, что я русский, я покоряюсь этому положению. Когда я думаю о красоте нашей истории до проклятых монголов, до проклятой Москвы, еще более позорной, чем сами монголы, мне хочется броситься на землю и кататься в отчаянии от того, что мы сделали с талантами, данными нам Богом… Русская нация сейчас немногого стоит. Русское дворянство – полное ничто, русское духовенство – канальи, меньшая братия – канальи, чиновники – канальи. Смеем говорить о гнилом Западе. Если бы перед моим рождением Господь Бог сказал мне: граф, выбирайте народ, среди которого вы хотите родиться, я бы ответил: "Ваше Величество, везде, где Вам будет угодно, но только не в России"».
Толстой не примыкал ни к одному из политических течений. С годами в нем крепло чувство отчуждения, противопоставленности всему, что окружало его, он писал: «Я живу в таком уединении, что сделался подобен зельтер-ской воде, закупоренной в бутылки». Славянофилы отталкивали его своим квасным патриотизмом, а «всяких» либералов и революционеров Толстой почти ненавидел: «Печать в руках теоретиков-социалистов, журналы клеймят меня ретроградом, власти считают меня революционером». А на самом деле он не был ни тем ни другим.
В последнее десятилетие своей жизни писатель сочинял весьма разнообразные произведения: баллады в былинном духе («Роман Галицкий», (1870), «Илья Муромец» (1871)), лирические и сатирические стихи («История государства Российского от Гостомысла до Тимашева» (1868, опубл. 1883); «Сон Попова» (1873, опубл. 1882)), поэмы «Портрет» (1874), «Дракон» (1875).
28 сентября (10 октября) 1875 г. Алексей Константинович Толстой скончался в своем имении Красный Рог, приняв чрезмерную дозу морфия. Медицинское заключение о причине смерти графа Толстого – «передозировка морфия» – констатирует факт, но не отвечает на главный вопрос: была ли смертельная передозировка результатом случайного недосмотра или обдуманного, преднамеренного расчета.
Безусловно, трудно провести черту между смертью из-за случайного превышения дозы и намеренным самоубийством, но «А. К. Толстого не принято причислять к самоубийцам, а между тем обстоятельства его смерти недвусмысленны, – считает Г. Чхартишвили. – Граф стал одной из многочисленных жертв медицинского невежества: врачи той эпохи еще плохо представляли себе пагубные последствия привычного употребления возбуждающих средств и часто прописывали морфий или опиум в качестве обычного лекарства».
Превозмогая многообразные хвори и физические страдания, граф давно уже стал морфинистом. Он постоянно увеличивал дозу морфия, что, естественно, приводило к серьезным психическим осложнениям. В последний период жизни у него даже началось раздвоение личности.