Другим непоправимым ударом для Аракчеева стало отсутствие ощутимой для государства пользы от придуманных им военных поселений, главным начальником которых он был. Военные поселения, как особая организация войск в России в 1810–1857 гг. с целью уменьшения военных расходов, совмещали военную службу с занятием сельским хозяйством. Введенные в них Аракчеевым безграничная муштра, жесткий режим, строгая регламентация жизни вызывали многочисленные недовольства и восстания (1819, 1831 и др.); при этом военные поселения не смогли обеспечить себя продовольствием и не была решена задача комплектования за их счет армии. Стало ясно, что век военных поселений не долгий.
С.П. Дягилев. Художник В.А. Серов. 1909 г.
Учитывая общее недовольство А.А. Аракчеевым, император Николай I уволил его и удалил от двора. Аракчеев испил на старости лет чашу горести сполна: государю, его оставшемуся земному божеству, он был больше не нужен, соотечественники в массе своей его не любили (а чаще ненавидели, не желали общаться с ним), потомства у него не было. Он безвыездно жил в своем имении Грузино, где умер в возрасте 65 лет.
В селе Грузино родился впоследствии широко известный в России и за ее границей театральный деятель С.П. Дягилев. В обществе хорошо был известен красавец – кавалергард Павел Павлович Дягилев, потомственный дворянин, ставший отцом Сергея, когда он уже был генерал-майором царской армии. Матерью Сергея была дворянка Е.Н. Евреинова, умершая при родах сына. В 1874 г. П.П. Дягилев женился вторично на Елене Валерьяновне Панаевой. Из столицы в связи с денежными затруднениями их семья переехала в Пермь, а лето проводили в Бикбарде, на Урале, где Сергей в 1890 г. окончил гимназию. Став взрослым, объехав много стран и городов, он всегда помнил о скромном новгородском селе Грузино, где родился.