Поначалу необходимо было накормить и обогреть переживших французскую оккупацию москвичей, по сведениям Ростопчина, в Москве к его приезду находилось до полутора тысяч человек «из бедного состояния народа в величайшей нужде: они были помещены по квартирам, одеты и кормлены в продолжение целого года на счет Казны».
Французы оставили в Москве и своих тяжелораненых - тысячу триста шестьдесят человек, голодных и истощенных солдат, собранных в Шереметьевской больнице (ныне Институт им. Склифосовского. -
Но основной задачей все же было восстановление сгоревшей Москвы (кстати, собственный дом Ростопчина остался цел и невредим). Для решения этой задачи 5 мая 1813 года император учредил Комиссию для строения Москвы во главе с Ростопчиным. Именно этой комиссии предстояло «способствовать украшению»
Москвы, а не пожару, как утверждал грибоедовский Скалозуб. Для воплощения планов Москве была дана беспроцентная ссуда в пять миллионов на пять лет . В комиссии работали лучшие зодчие - Бове, Стасов, Жилярди и другие.
Неудивительно, что решение такого большого числа проблем негативно отразилось на здоровье Ростопчина, у него участились обмороки и затяжная депрессия. Он «занемог» еще в октябре 1812 года, увидев, во что превратилась Москва. Рассуждать о «русском правиле» -это одно, а увидеть его практическое воплощение - совсем другое.
Физические недуги обострялись нравственными. Москвичи всю вину за потерю своего имущества возложили на Ростопчина. В открытую бранили его, независимо от сословной принадлежности, на рынках и площадях, в салонах и в письмах. О том, чтобы использовать довоенные методы управления, не было и речи - он не мог уже без охраны ходить по улицам. Отпала надобность и в агентах, Ростопчин и так знал, что авторитет его у москвичей - минимальный.
Характерный пример - письмо московской дамы Марии Волковой к своей петербургской родственнице Варваре Ланской от 8 августа 1814 года: «Если бы ты знала, какое вы нам окажете одолжение, избавив нас от прекрасного графа! Все его считают сумасшедшим. У него что ни день, то новая выходка. Несправедлив он до крайности. Окружающие его клевреты, не стоящие ни гроша, действуют заодно с ним. Граф теперь в Петербурге. Как его там приняли? Сделайте одолжение, оставьте его у себя, повысьте еще, ежели желаете, только не посылайте его к нам обратно». А ведь еще в июне 1812 года та же Волкова писала, что «Ростопчин - наш московский властелин. у него в тысячу раз более ума и деятельности». Как быстро поменялось общественное мнение!
После пожара граф сделал для Москвы несравнимо больше, чем в те несколько месяцев, что он успел совершить до французского нашествия. Но москвичи не простили ему пожара, связав с ним все свои беды и горести: «У Ростопчина нет ни одного друга в Москве, и там его каждый день клянут все. Я получил сотни писем из Москвы и видел много людей, приехавших оттуда: о Ростопчине существует только одно мнение», - писал Н. М. Лонгинов из Петербурга 12 февраля 1813 года С. Р. Воронцову.
Мы не случайно привели мнение именно петербургского жителя, приближенного ко двору, где к этому времени уже сформировалось мнение о необходимости смены ряда ключевых политических фигур. Востребованная накануне войны консервативная идеология уже не отвечала политическим реалиям. Авторитет Александра, въехавшего в Париж победителем, был как никогда высок. И если назначение Ростопчина было вызвано именно политическими причинами, то теперь эти же причины повлекли и обратный процесс. 30 августа 1814 года Ростопчин получил отставку.
Сменщиком графа на следующую пятилетку стал генерал от кавалерии Александр Петрович Тормасов. При нем дом генерал-губернатора обрел новый облик. Проект архитектора В. Мирошевского предусматривал изменение первоначальной безордерной композиции фасада и обработку центрального входа шестипилястровым портиком коринфского ордера. Увенчанный фронтоном портик объединял два верхних этажа. Оконные проемы были заключены в плоские ниши с полукруглыми завершениями.
13 января 1815 года в генерал-губернаторском доме был дан бал по случаю дня рождения императора Александра I: «Тормасов дал нам роскошный бал в генерал-губернаторском доме. Кто бы мог подумать, смотря на пышный праздник, что два года тому назад Москву вконец разорили».