Новый император Николай I считал себя большим знатоком в военных и гражданских делах, но на фоне ярких военных и хозяйственных успехов Ермолова и его славы царь чувствовал себя не вполне уютно. Николай I сузил возможности для реализации всех разноплановых талантов Ермолова, ограничил его деятельное участие в решении государственных дел. Кроме того, он помнил, что Ермолов как минимум сочувствовал декабристам. В таких условиях Ермолов был вынужден подать прошение об отставке с военной службы в 1827 г. (ему 50 лет). Он был назначен членом Государственного совета, но при императоре Николае I этот Совет реально мало что решал. Вот почему в 1839 г. Ермолов подал прошение об увольнении его якобы из-за болезни. После увольнения он скромно жил; больших средств он себе не нажил. Но он не очень жалел об этом: его совесть по большому счету была чиста. С 62 лет Ермолов жил или в Москве, или в этой его подмосковной усадьбе, или в имении его родителей в Орле. Он писал мемуары, много читал, переплетал книги, размышлял с оставшимися в живых друзьями о прожитой жизни. Его мемуары – «Записки» вышли из печати только после его смерти; в них он рассказал о своей жизни, современниках, исторических событиях, старался доказать, что умение выбирать грамотных, верных и честных людей редко встречается в правителях, слишком часто недооценивающих способности своих подданных и должным образом не знающих русскую историю.
Ермолов дожил до глубокой старости, умер в Москве в возрасте 84 лет (очень много по тем временам, средняя продолжительность жизни в России тогда была немногим более 30 лет).