Расстроенный неожиданным сообщением о своем смещении, светлейший князь А. А. Суворов, всегда опиравшийся на личную приязнь молодых монархов, недоумевал. Вероятно, он в чем-то нарушил наказ российского императора, неправильно его понял и исполнил.
Весть об отставке князя мгновенно распространилась по Петербургу. «Все в городе, – записал в своем дневнике современник, – очень довольны увольнением Суворова. Еще бы – почти пять лет непрестанного заигрывания с интеллигенцией хоть кого доведут до белого каления».
После ликвидации в 1866 году службы генерал-губернатора деятельность гражданского губернатора стал контролировать министр внутренних дел. Власть же упраздненного Александром II генерал-губернатора распространялась не только на дела гражданские, но и на военные. Ему подчинялись войска столичного гарнизона, суд, полиция, финансы, провиантская и налоговая службы, таможня, рекрутские наборы, строительные дела и городское хозяйство.
В 1866 году, после упразднения должности генерал-губернатора, оба здания на набережной реки Мойки, 83, и Большой Морской улице, 38, передаются в распоряжение обер-полицмейстера Петербурга. В доме № 83 поселился обер-полицмейстер Федор Федорович Трепов, назначенный позднее градоначальником Санкт-Петербурга. В 1878 году на его жизнь покушалась народница Вера Ивановна Засулич, ранившая его и оправданная столичным судом присяжных.
В 1870-х годах сквозной участок с домами № 83 по набережной Мойки и № 38 по Большой Морской улице отдали Обществу поощрения художников, основанному в Петербурге в 20-х годах XIX столетия. Переименованное в 1882 году в Императорское, Общество поощрения художников считало своей основной задачей работу по распространению в широких массах идей отечественного изобразительного искусства, основных его задач и взглядов.
В этих зданиях, перестроенных архитекторами И. С. Китнером и М. Е. Месмахером в стиле эклектики в 1890–1893 годах, теперь регулярно организовывались вернисажи картин отечественных мастеров и демонстрировались изданные обществом прекрасные художественные литографированные альбомы. Средства от их продажи и успешной реализации картин составляли солидный фонд помощи талантливым живописцам для оплаты за обучение за границей.
Одновременно с архитектором И. С. Китнером в перестройке полученных Обществом зданий принимал активное участие и известный петербургский зодчий немецкого происхождения – М. Е. Месмахер, первый директор Центрального училища технического рисования и автор проекта дома № 13 в Соляном переулке.
Максимилиан Егорович Месмахер, сын знаменитого столичного немецкого каретного мастера-кузнеца, тогда уже являлся маститым зодчим, построившим к этому времени два замечательных великокняжеских особняка. Он основательно перестроил дом № 83 на набережной Мойки, изменив его внешний облик. Дом сохранился до наших дней. В конце 70-х годов XIX столетия он надстроил его четвертым этажом, ликвидировав два балкона и фронтон. Вместе с мэтром Месмахером в фасадной перестройке дома № 83 на Мойке принимал участие один из крупнейших архитекторов Петербурга – Иероним Севастьянович Китнер.
В те годы в здании на набережной реки Мойки, 83, располагалось также и Общество отечественных акварелистов, в числе которых особо выделялись мастера этого жанра М. Я. Вилие, А. А. Бильдерлинг, М. П. Клодт, А. Н. Бенуа, М. Е. Месмахер и многие другие художники. Здесь же в те годы находились Скандинавское благотворительное общество, редакция популярного журнала «Зодчий», переименованного в 1901 году в журнал «Художественные сокровища России». Санкт-Петербургское общество архитекторов и столичное Общество художников также нашли пристанище в доме на Мойке. Позже в Санкт-Петербурге организовали Школу при Императорском Обществе поощрения художеств. Классы этого учебного художественного заведения также пришлось разместить в доме № 83 на правом берегу реки Мойки. В начале XX столетия сюда же переместился Первый дамский художественный кружок вкупе с обществом «Понедельник» для вспомоществования семьям умерших художников.
С 1890-х годов в доме № 83 на набережной реки Мойки, наряду с художественными столичными обществами, располагалось первое в России Общество для содействия русской промышленности и торговли, организовавшее здесь первый в Российской империи художественно-промышленный музей. Его инициатором и активным создателем становится русский писатель Дмитрий Васильевич Григорович, состоявший в течение двадцати лет секретарем этого Общества и живший в одном из отремонтированных флигелей дома № 83. В 1900 году этому музею присвоили имя писателя.