Несчастного Павлова арестовали и привели к Закревскому, который его лично допрашивал. Но этим дело не кончилось. Закревский велел провести у арестованного тщательный обыск, в результате которого в доме Павлова обнаружились антиправительственные рукописи, письма Белинского и еще «кой-какие стихи». Были все основания передать дело в Третье отделение, что Закревский немедля и сделал. Следствие велось чрезвычайно строго . Суровым был приговор - за картежную игру и хранение запрещенных цензурой книг Павлова со службы уволить (он был смотрителем 3-го московского уездного училища) и сослать в Пермь под строжайший надзор, что и случилось в апреле 1853 года. И хотя благодаря заступничеству друзей к концу года Павлова простили и вернули в Москву, приехал он надломленным и одиноким. Вот что значит - писать сатиру на Закревского...
С другой стороны, Павлову повезло - ведь Закревский мог вписать его имя в тот самый пустой бланк, данный ему государем. И тогда литератор мог отправиться в Сибирь надолго, если не навсегда.
Другого литератора - славянофила Хомякова Закревский как-то вызвал к себе, чтобы сообщить ему Высочайшее повеление не только не печатать стихи, но даже не читать их никому. Этот эпизод П. И. Бартенев описывает в ироническом ключе: «“Ну, а матушке можно?” - поинтересовался Хомяков. “Можно, только с осторожностью”, - улыбаясь, сказал Закревский, знавший Хомякова еще с Петербурга, когда тот служил в конной гвардии». Сам же Петр Иванович Бартенев, историк и один из первых пушкинистов, также был удостоен чести побывать на приеме у генерал-губернатора. Как-то раз неожиданно его затребовали к Закревскому, причем не объясняя причины. Едва только Бартенев вошел к генерал-губернатору, тот стал распекать его по полной программе за отвратительную выходку в Дворянском собрании. И чего только не пришлось Бартеневу выслушать в тот день, жаль, что все это относилось не к нему, а к его однофамильцу. Но сказать об этом Закревскому он не мог - граф даже слова не давал вставить. Лишь в конце обличительной тирады Закревский понял, что слова его звучат не по адресу. Но перед Бартеневым он так и не извинился. А находчивый историк попросил Закревского поведать об Аустерлицком сражении, что тот и сделал с удовольствием, сравнимым с тем, что он испытывал за пять минут до этого, отчитывая Бартенева. Когда в 1858 году исполнилось десять лет со дня пребывания Закревского на посту генерал-губернатора, его чиновники собрали по подписке капитал, на проценты с которого содержался инвалид в Сокольниках. Но не прошло и года, как Арсений Андреевич был отправлен в отставку. Случилось это 16 апреля 1859 года. К этому времени претензий к Закревскому накопилось немало. Нужен был лишь повод.
Основанием для отстранения Закревского стало замужество его дочери, которую он не просто любил больше всех на этой грешной земле, а даже обожал. Бывало, лишь для нее одной устраивал он домашние спектакли и концерты в генерал-губернаторском особняке на Тверской. Стремился удовлетворять все ее желания и растущие с каждым годом потребности. Так вышло и на этот раз. Лидия Арсеньевна Нессельроде решила выйти замуж вторично, и это при живом-то муже! Куда смотрел муж, спросите вы? С мужем они жили раздельно . Дочь Аграфены Закревской унаследовала не только ее гены, но и образ поведения: «У графини Закревской без ведома графа делаются вечера: мать и дочь, сиречь графиня Нессельроде, приглашают к себе несколько дам и столько же кавалеров, запирают комнату, тушат свечи, и в потемках которая из этих барынь достанется которому из молодых баринов, с тою он имеет дело. Так, на одном вечере молодая графиня Нессельроде досталась молодому Муханову. Он, хотя и в потемках, узнал ее и желал на другой день сделать с нею то же, но она дала ему пощечину», - писал Дубельт.
Новым избранником Лидии оказался бывший чиновник канцелярии Закревского князь Дмитрий Друцкий-Соколинский. Отец не смел прекословить дочери и сам организовал незаконное венчание, вручив сомневающемуся священнику полторы тысячи рублей и пообещав, в случае чего, отправить его в Сибирь. После венчания молодых Закревский выдал им паспорт для отъезда за границу. Император узнал об этом последним. Участь Закревского была решена. Сам этот случай говорит о том, что для Арсения Андреевича закон был что дышло.
В Москве, правда, поговаривали и о другой причине отставки Арсеник-паши. Купцы приписывали себе в заслугу падение ненавистного им генерал-губернатора, более десяти лет наводившего на них страх и ужас. Якобы Закревский в привычной для него манере выгнал купцов из Манежа, где должен был состояться обед в честь военных, да еще и с участием молодого императора. Узнав об этом, Александр II и решил задвинуть Арсения Андреевича. Купцы расценили это как проявление защиты и заботы со стороны царя. Так это или нет, но в тот день, когда стало известно об отстранении Закревского от должности, во многих купеческих домах царил праздник.