В первом этаже здания по Большой Морской улице находились помещения охраны и курьеров. На втором этаже этого дома располагалась канцелярия, а весь третий этаж занимали помещения официальной приемной генерал-губернатора и его рабочий кабинет.
Построенный в середине XVIII столетия двухэтажный каменный дом на набережной реки Мойки (№ 83), отведенный в начале XIX века для личной казенной квартиры генерал-губернатора, был перестроен городскими архитекторами В. И. Беретти и М. А. Овсянниковым. Кроме внутренней и наружной перепланировки, тщательной отделки старого здания его надстроили тогда третьим этажом. Квартира генерал-губернатора занимала несколько этажей. Спальня, детские и иные жилые помещения располагались в третьем этаже особняка. Парадная же анфилада комнат находилась во втором этаже здания (кабинет, бильярдная, столовая, гостиная с балконом и танцевальный зал).
Традиционно в этом доме устраивались губернаторские балы и знаменитые званые обеды по торжественным дням. Первым генерал-губернатором, занявшим обновленные жилые апартаменты казенного дома на набережной Мойки, стал герой войны 1812 года генерал от инфантерии, генерал-адъютант, член Государственного совета граф Михаил Андреевич Милорадович, назначенный императорским указом 19 августа 1818 года на ответственный государственный пост военного генерал-губернатора Санкт-Петербурга с дополнительными обязательствами «представления ему прав управления и гражданской частью столицы». В день его высокого назначения император Александр Павлович повелевает графу Милорадовичу «присутствовать в Комитете министров и в Государственном совете по департаменту военных дел». За плечами 47-летнего военного генерал-губернатора были многочисленные великие войны и победоносные сражения. Столичные газеты с восторгом писали о Милорадовиче, что он «самою судьбой был предназначен для стяжания славы на воинском поприще».
Произведенный в 1788 году в поручики, 17-летний Милорадович уже тогда, в шведском походе, обратил на себя внимание своей выдающейся смелостью. В 1797 году – полковник, а через год – генерал-майор, командир Апшеронского мушкетерского полка, М. А. Милорадович героически прошел под началом фельдмаршала А. В. Суворова итальянскую и швейцарскую кампании. В одной из военных реляций Суворов писал о своем любимце, что при переходе через Альпы «молодой Милорадович схватил знамя, ринулся вперед, а за ним богатыри». Граф был баловнем императоров Павла I и Александра I. С ним был дружен великий князь Константин Павлович. Сердечные дела нередко имели немалое влияние на душевный настрой Михаила Андреевича. Кавалерист-девица Надежда Александровна Дурова в своих воспоминаниях отмечала, что в период службы под командованием Милорадовича она довольно точно подмечала, что «дни успешного ухаживания генерала за своей очередной пассией делали его всегда очень обязательным в обращении». Когда корнет Дурова в такой удачный для генерала период встречалась со своим командиром, то всегда угадывала об успехе его любовных похождений. «Если Милорадовичу удавалось завоевать милость своей страсти, то он охотно разговаривал с нами, был приветлив и шутил. Если же роман не складывался, то он приходил пасмурным и довольно холодно отвечал на отдаваемое нами воинское приветствие. Граф не был чужд в любви соперничеству, досаде и движению ревности».
М. А. Милорадович – герой Аустерлица, Бухареста, Бородина – славился своим тактическим талантом, неимоверной храбростью и презрением к смерти. Являвшийся некоторое время адъютантом Милорадовича князь П. А. Вяземский позже в стихах опишет генерала в битве под Бородином, руководившего в этом сражении центральным участком расположенных здесь русских войск:
Храбрейший человек, генерал Алексей Петрович Ермолов, обойдя однажды с Милорадовичем позиции под шквальным французским огнем, сказал ему: «Чтобы быть везде с вашим превосходительством, надо иметь запасную жизнь!»
Офицеры и солдаты беспрекословно слушались прославленного генерала и уважали его за лихость и храбрость.
Однако, по отзывам сослуживцев, Милорадович не всегда был добр и мягок. К некоторым проступкам он зачастую относился довольно беспощадно. Князь Вяземский вспоминал: «Когда мы пришли в Можайск, город был брошен жителями. Из одного дома вышел солдат с ворохом барской одежды. Командующий остановил его и велел расстрелять».