Получив столь большое наследство, тридцатилетний князь Павел Петрович оставляет военную службу в гвардейском Преображенском полку, Екатерина II жалует ему должность действительного камергера, женится по любви на фрейлине Анастасии Валентиновне, дочери генерал-фельдмаршала графа В.П. Мусина-Пушкина. Князь оказался весьма рачительным хозяином, привел в должный порядок запущенный огромный усадебный участок и великолепный особняк (дом № 6), выходящий своим фасадом на Миллионную улицу.
Заботясь об увеличении доходности огромного сквозного земельного надела, П.П. Щербатов в конце 80-х годов XVIII столетия возводит на набережной Мойки двухэтажный каменный флигель (дом № 5) с аркадой в первом этаже, с девятью торговыми лавками, сдаваемыми в аренду местным купцам. Через год по распоряжению князя здание надстроили третьим этажом, оформили фасады дома рустом и лепными деталями. В результате перестройки здания на набережной Мойки появился оригинальный образец доходного жилого дома с уличной торговой галерей на девять лавок и обращенными во двор галереями-коридорами. Князь Павел Петрович иногда сдавал в аренду некоторые покои в своем главном особняке на Миллионной улице. В 1810-х годах в его доме несколько лет жил знаменитый французский художник-портретист Шарль-Бенуа Митуар, удостоенный в 1813 году звания академика Петербургской Академии художеств.
Считают, что французский художник написал четыре прекрасных портрета князя П.П. Щербатова и его супруги – княгини Анастасии Валентиновны. Ранее эти работы приписывались кисти О.А. Кипренского.
Однако большинство отечественных искусствоведов, основываясь на результатах объективных технических экспертиз, все же продолжают утверждать, что автором замечательных портретов князя и княгини Щербатовых является их гость из Франции. Споры и дискуссии об авторе портретов продолжаются, поэтому ныне они выставляются под нейтральной подписью: «Работа неизвестного мастера первой четверти XIX века».
После смерти четы Щербатовых их наследница, единственная дочь Наталья Павловна, вышедшая замуж за графа А.Н. Зубова, приняла решение о продаже родового надела и особняка.
Покупателем оказалась некая Рубцова, перепродавшая через несколько лет особняк и огромный сквозной участок жене действительного статского советника О.П. Зубовой.
В 1857 году бывший участок Балков – Нарышкиных – Щербатовых казна выкупает у О.П. Зубовой под строительство служебного корпуса Запасного дворца и Конюшенного двора при Ново-Михайловском дворце. Перестроечными работами тогда руководил придворный зодчий А.И. Штакеншнейдер. Весь земельный участок вскоре заняли многочисленные конюшни и жилые помещения для прислуги великого князя Михаила Николаевича, дворец которого располагался неподалеку дом № 18 по Дворцовой набережной и № 19 по Миллионной улице.
В начале 1860-х годов зодчий полностью перестроил комплекс сооружений на участке дома № 5 на набережной реки Мойки и дома № 6 по Миллионной улице. Изменил фасад зданий, декорировал их пилястрами, убранством в стиле рококо (завитки в виде раковин, растительный орнамент, изогнутый в спирали, асимметрия декора). В дворовых строениях между Мойкой и Миллионной размещались конюшни и сараи. В построенных дворовых флигелях разместили великокняжеских слуг и конюхов. Примыкающая к набережной Мойке значительная часть земельного участка в 1863 году сдавалась в аренду известному мебельному фабриканту К.А. Туру. В бывшем барском особняке на Миллионной улице до 1917 года располагались основные службы великого князя Николая Михайловича и квартиры его служащих.
Долгое время в бывшем здании Запасного дворца и Конюшенном дворе при Ново-Михайловском дворце великого князя Николая Михайловича располагались кафедры, аудитории и учебные классы Северо-Западного государственного заочного технического университета.
Время, многочисленные перестройки и витиеватые надстройки лишили дом № 6 на Миллионной улице первоначальной красоты и изящества. О его сегодняшнем внешнем виде остроумно и точно написал в своей книге знаток нашего города А.А. Иванов: «Сегодня дом напоминает обедневшего аристократа, с нелепо нахлобученными двумя верхними этажами, надстроенными сравнительно недавно и никак не вяжущимися с изукрашенным фасадом „во вкусе Растрелли“.
Когда исторические здания надстраивают с забвением того, что имеют дело не с игрушечными сооружениями из кубиков, высоту которых можно менять произвольно, не сообразуясь ни с архитектурным обликом, ни с местоположением, – это ведет обычно не только к искажению наружного вида отдельных домов, но и к потере лица всей улицы в целом».