Немного позднее публицист князь П.В. Долгоруков в своих мемуарах назовет Марию Васильевну Столыпину особой «удивительной красоты, бойкого ума и искусною пройдохою, находившейся в связи в одно и то же время с цесаревичем и с Барятинским». Супруг Марии Васильевны – Алексей Григорьевич Столыпин – после свадьбы назначается адъютантом герцога Максимилиана Лейхтенбергского, мужа любимой дочери Николая I – Марии Николаевны, лучшей подруги М.В. Столыпиной. Правда, во время эпидемии холеры Алексей Григорьевич Столыпин умирает, а его вдова Мария Васильевна в 1851 г. выходит вторично замуж за светлейшего князя Семена Михайловича Воронцова – сына генерал-фельдмаршала, правителя Новороссии и наместника русского царя на Кавказе Михаила Семеновича Воронцова и Елизаветы Ксаверьевны Браницкой. Статскую службу в Дипломатической канцелярии второй супруг Марии Васильевны сменил на чин штабс-капитана лейб-гвардии Преображенского полка, а затем в чине полковника служил в Чечне, занимая должность командира Куринского егерского полка, подразделения которого совершали периодические набеги на чеченские аулы. За храбрость и боевые заслуги командира полка князя СМ. Воронцова даже скупой на похвалы генерал А.Е. Ермолов называл «блистательно смелым» офицером. Он и его жена Мария Васильевна, урожденная Трубецкая, стали прототипами действующих лиц повести Л.Н. Толстого «Хаджи-Мурат».
Князь Воронцов описан в ней как «длиннолицый белокурый полковник с флигель-адъютантскими вензелями и аксельбантами», говорящий по-русски с английским акцентом; княгиня предстает в повести «крупной, большеглазой, чернобровой красавицей».
Награжденный боевыми орденами, произведенный в генерал-майоры, генерал-адъютант князь СМ. Воронцов с супругой возвращаются в Петербург, и в 1856 г. становятся владельцами участка и усадебного дома № 106 на набережной реки Мойки. Здесь и пройдет их последующая жизнь. Сразу же после оформления купчей на приобретение недвижимости на набережной Мойки на Высочайшее имя направляется прошение о выдаче официального разрешения княгине М.В. Воронцовой на капитальную перестройку главного усадебного дома № 106 и расположенных на участке флигелей.
Для этого был специально приглашен знаменитый зодчий Ипполит Монигетти, академик архитектуры и прославленный мастер интерьеров. Монигетти разработал несколько вариантов перестроечного проекта усадебного здания и оформления его фасадов и интерьеров. Все разработанные зодчим проекты дома княгини М.В. Воронцовой представлялись на Высочайшее рассмотрение и окончательное утверждение дважды.
На прошении княгини Воронцовой о дозволении «возвысить надстройкою фасад дома ея в четвертой Адмиралтейской части по набережной реки Мойки» 25 апреля 1857 г. помечено: «Удостоены Высочайшего утверждения».
В соответствии с желанием сиятельной заказчицы зодчий Монигетти оригинально надстроил главный усадебный дом дополнительным вторым этажом, используя крепкие стены старой постройки и полностью сохранив его фундамент. Однако парадный вход в будущий дворцовый особняк и его лестницу зодчий построил заново. Второй дополнительный этаж здания Монигетти украсил солидным прямоугольным аттиком с оригинальным фронтоном, в тимпане которого укрепили изящный вензель владельца – золотую букву «W». Такой же вензель украсил и новую парадную лестницу особняка.
Перед главным фасадом здания, по замыслу Монигетти, соорудили каменную террасу с балюстрадой. Весь комплекс перестроечных работ проводился в период действия нового требования возведения домов в Санкт-Петербурге – ставить их главным фасадом по красной линии. Княгине же Марии Васильевне удалось получить Высочайшее разрешение обустраивать свой дворцовый особняк на прежнем месте, в глубине обширного земельного участка. Исключение из строго соблюдавшихся строительных правил того времени император сделал ввиду особой значимости заслуг знаменитого дворянского рода светлейших князей Воронцовых для Российской империи.
В восторженных публикациях столичных газет и журналов по поводу нового особняка князей Воронцовых на набережной Мойки единодушно отмечалось: «Его фасады отделаны богато, с разными украшениями, пилястрами, тягами и прочим, а его поэтажное членение, пилястры, ризалит, выдающийся центр особняка, балюстрада, мелкая расстекловка окон – явно соответствуют особенностям раннего французского классицизма, так называемого стиля Людовика XIV, довольно часто использовавшегося в строительстве зданий в период эклектики. Фасады особняка достаточно сдержанны, строение кажется небольшим, поэтому трудно себе представить, что за этими фасадами скрываются весьма разнообразные и богато декорированные интерьеры…»