Как раз незадолго перед этими событиями, в июне 1825 года, к Аракчееву явился доносчик на будущих декабристов Шервуд, который доложил о зреющем заговоре графу, но впечатления на Аракчеева, кажется, не произвел. Временщик послал Шервуда дальше, на юг, для уточнения заговора там, но в это время зарезали Минкину, и Аракчеев забросил все дела. Сам Шервуд считал, что именно из-за этой проволочки со стороны Аракчеева не удалось предотвратить бунт на Сенатской площади: «Не знаю чему приписать, что такой государственный человек, как граф Аракчеев... пренебрег опасностью, в которой находилась жизнь государя и спокойствие государства для пьяной, толстой, рябой, необразованной, дурного поведения и злой женщины: есть над чем задуматься». Видно, Шервуду было недоступно чувство любви, и, кроме того, упреки в адрес Аракчеева несправедливы — император Александр был им извещен о тайных обществах, но сам ничего не предпринимал.
А вскоре рухнул и второй столп благополучия временщика — в сентябре 1825 года в Таганроге скончался император Александр I. Новый император Николай I от услуг Аракчеева отказался. Он его недолюбливал и, возможно, презирал за малодушие и трусость. В решающий для династии день 14 декабря 1825 года все военные из дворца ушли на Сенатскую площадь, где в эти часы решалась судьба России и династии, а в Зимнем остались только «князь Лобанов-Ростовский по старости... и граф Аракчеев по трусости... на него жаль было смотреть», — писал современник. Дело не только в трусоватости временщика. В страшный день 14 декабря он, вероятно, осознавал и свою вину за происшедшее. Потом, видя к себе немилость нового царя, Аракчеев отправился за границу и был уволен в отставку , бессрочно. Когда он решил вернуться в Петербург, ему передали мнение государя о том, что «кратковременное пользование водами не могло совершенно излечить его, а если же граф полагает окончить курс своего лечения в России, то советует ему воспользоваться деревенским воздухом и, не приезжая в столицу, остаться в Грузине». Так улетели от Аракчеева и власть, и влияние...
Вообще он любил за всю свою жизнь только трех людей — императора Александра, Минкину и Шумского. Согласимся, что для многих людей и это много! Но, потеряв государя и своего «друга», он в конце концов потерял и Шумского, который, несмотря на все благодеяния папаши, его ненавидел. Еще во времена могущества Аракчеева баловень Миша сбился с пути истинного: вел себя неподобающим образом, буйствовал и пьянствовал. Да и странно было бы, если бы такие люди, как Аракчеев и Минкина, сумели воспитать сколько-нибудь приличного человека.
Шумский был назначен флигель-адъютантом, но «поведением своим, — писал Н. И. Шениг, — срамил это высокое звание, являясь часто пьяным, и раз даже свалился на разводе с лошади. Это жестоко огорчило графа, который любил его без ума». Пьянство Шумского дошло до того, что однажды, когда он был в карауле на дворцовой гауптвахте, Аракчеев заехал посмотреть, все ли в порядке, и, застав его совершенно пьяным и раздетым, тут же увез с собой как внезапно заболевшего. Много проказ сходило с рук Шуйскому, но погубила его следующая безобразная проделка: он явился пьяный в театр с арбузом, рукою вырывал мякоть и ел, а опорожнив арбуз, надел его на плешивую голову сидевшего впереди купца со словами: «Старичок! Вот тебе паричок». Шумского арестовали. Дошло до государя, и тот сослал Шумского на Кавказ в гарнизонный полк, а потом приемыша Аракчеева в 1830 году уволили в чине поручика, «за болезнию».
Шумский так позорил имя Аракчеева, что в какой-то момент тот с болью вырвал эту свою любовь из сердца и забыл о нем, даже не упомянул в завещании. Нищий и опустившийся, сын Аракчеева несколько лет в жил в новгородском Юрьевом монастыре, а потом был в Соловецком монастыре до 1851 года, откуда попал в Архангельск, там и умер в больнице приказа общественного призрения.