Почти двести лет просуществовали в России генерал-губернаторы. За это время в Москве сменилось пятьдесят руководителей города. Чаще всего менялись генерал-губернаторы в XVIII веке - почти сорок раз! А в XIX веке хозяев дома на Тверской было всего лишь двенадцать. Находились на этой должности люди разные: и прирожденные начальники, вписавшие в историю Москвы незабываемую страницу, и случайные, занесенные в Первопрестольную ветром политической конъюнктуры. Были среди них и представители знатных дворянских родов, причем нередко целыми семьями (да, есть примеры, когда сразу несколько поколений рода было представлено на генерал-губернаторском посту в Москве), были и люди худородные. Были и те, кто, родившись в России, до конца жизни говорил с французским акцентом и писал только по-французски. Были и другие, знавшие лишь русский язык. Обо всех и не расскажешь в одной главе, мы выбрали наиболее колоритные фигуры. Резиденция на Тверской меняла свое убранство почти при каждом новом генерал-губернаторе, перестраивались комнаты и залы, сооружались кабинеты и портретные галереи с изображениями самих хозяев дома. Чиновникам для их плодотворной работы требовалось все больше места и улучшения условий. Если же говорить о внешнем виде здания, то сегодня он не соответствует проекту Казакова. Слишком много перестроек пережил особняк, и лишь отдаленно напоминает он тот образ, который известен нам по картинам.
В марте 1917 года в доме генерал-губернатора засел Московский Совет рабочих депутатов, руководство которым с сентября перешло к большевикам. А ночью 26 октября 1917 года здесь активно стал «наворачивать» Военно-революционный комитет, одним из руководителей которого был А. Я. Аросев (отец народной артистки Аросевой О. А.). Более чем на семь десятилетий советская власть воцарилась в генерал-губернаторском особняке, за которым закрепилось название Моссовета.
Именно в эту эпоху особняк и пережил наиболее радикальные работы со времени постройки. Началось все с разборки флигелей усадьбы, а на их месте в 1930 году по проекту архитектора И. А. Фомина был построен административный шестиэтажный корпус в стиле конструктивизма. Затем, в 1937 году, здание передвинули более чем на 13 метров назад, тем самым поставив его на красную линию улицы Горького (бывшей Тверской). То был период, когда старая Москва принялась переезжать - дома ставили на домкраты и перевозили на новое место жительства, в результате узкие улочки расширялись, становясь проспектами. Победное завершение Великой Отечественной войны породило соответствующие требования к архитектуре, призванной отражать достигнутые успехи. Московские здания, в которых размещались органы власти, должны были обрести новый облик, более торжественный и парадный. Первым в этой очереди стоял дом Моссовета на улице Горького . С него и начали. Проект его перестройки создал в 1945 году Иван Жолтовский. Однако, ознакомившись с проектом, тогдашний председатель Моссовета Г. М. Попов раскритиковал работу известного и старейшего советского зодчего. Слишком скромным и недостаточно помпезным показалось чиновнику декоративное убранство здания.
Следуя сложившейся к тому времени традиции, когда большие начальники лично вмешивались в работу деятелей культуры и искусства, товарищ Попов взял карандаш и пририсовал к фасаду здания колонны. Проявив таким образом неуважение к проекту Жолтовского, он вынудил архитектора и вовсе отказаться от дальнейшей работы. Зодчий сказал, что не хочет на старости лет позориться и уродовать дом московского генерал-губернатора. Ибо пройдет время, фамилию Попова никто и не вспомнит, а вот Жолтовского из-за этих колонн будут склонять налево и направо. Ведь никому не объяснишь, откуда они взялись.
Но так не думал главный архитектор Москвы Дмитрий Чечулин, вместе со своими коллегами Посохиным, Молоковым и Благолеповым решившийся перестроить здание так, как надо Моссовету и его председателю. В итоге в 1945-1950 годах здание было надстроено двумя этажами, осуществлена его перепланировка, поменялся и внешний вид. Плоский пилястровый портик был заменен восьмиколонным портиком, поднятым на мощные пилоны. Выходящий на улицу фасад был декорирован скульптурными барельефами по проекту скульптора Н. Томского. Интерьеры реставрировались по проекту архитекторов Г. Вульфсона и А. Шерстневой, живопись на плафонах - под руководством А. Корина. Добавилась и высокая фигурная решетка по границе улицы.
В таком виде здание просуществовало до середины 1990-х годов, когда началась его новая перестройка. Интерьерам попытались вернуть их прежний, еще Матвеем Казаковым задуманный облик, изюминкой которого была знаменитая галерея залов.