Князь Семен Семенович Абамелек-Лазарев был женат на дочери столичного богача – Павла Демидова и княгини Елены Трубецкой – Марии Павловне Демидовой, унаследовавшей от родителей титул княгини Сан-Донато. Она была умной, красивой и разносторонне образованной женщиной, да к тому же еще и талантливой балериной. Мария Павловна превратила новый дом на Мойке в своеобразный культурный центр столицы, в котором устраивались замечательные вечера классического балета, блестящие концерты, встречи со знаменитыми русскими и зарубежными артистами, писателями, музыкантами, композиторами и художниками. С учетом этих обстоятельств и профессиональных выступлений супруги в балетных спектаклях князь специально для любимой жены отделал и обустроил некоторые помещения дома № 23 на Мойке, превратив их в роскошные салоны с люстрами из венецианского стекла, колоннами из редких пород и рисунков мрамора, украшенные уникальными картинами и скульптурами из знаменитой семейной коллекции.
Следует более подробно охарактеризовать самого хозяина этого знаменитого архитектурного комплекса, расположенного на солидном земельном участке между набережной реки Мойки и нынешней Миллионной улицей Петербурга.
Самым знаменитым в династии князей Абамелек-Лазаревых являлся князь Семен Семенович, входивший в список наиболее состоятельных подданных российского императора. Основными источниками его доходов служили принадлежавшие князю золотые прииски и рудники на Урале, железно-рудные предприятия, многочисленные угольные и соляные копи. Он владел домами в Петербурге, на Урале, в Нижнем Новгороде и в Италии, где князь со своей супругой провели большую часть своей жизни.
Он родился в Москве в 1856 году и по линии отца – генерал-майора князя Семена Давидовича Абамелека принадлежал к старинному грузинскому княжескому роду, состоящему в родстве с грузинским царским родом Багратиони.
Царевич Давид Георгиевич – старший сын последнего грузин ского царя Георгия XII Багратиони, был женат на Елене Семеновне Абамелек. Похоронили ее в Федоровской церкви Александро-Невской лавры. На надгробной плите выбита надпись: «Праху грузинской царевны Елены Семеновны посвящается сей памятник родными братьями ее, князьями Абамелек. 1836 г.». Ее сестра – Анна Семеновна Абамелек была помолвлена с Романом Ивановичем Багратиони, братом героя Отечественной войны 1812 года Петра Ивановича Багратиона. Из шести братьев Абамелек особую известность на службе в России приобрели Давид и Иван Семеновичи. Давид Семенович, русский офицер, участвовал во многих военных сражениях, в том числе и в войне с Наполеоном. Он командовал лейб-гвардии гусарским полком в кровопролитных боях под Смоленском, Бородиным, при Тарутине и под Малоярославцем. Его жена Марфа Екимовна Лазарева, статная красавица, женщина образованная, увлекалась литературой и изящным искусством. Дочери этого дружного семейства получили прекрасное образование и поражали всех не только яркой природной красотой, но и знанием в совершенстве многих иностранных языков. Анна Давидовна свободно владела английским, французским, немецким, итальянским и греческими языками. Она переводила на иностранные языки многие произведения Пушкина, Лермонтова, Некрасова, Тютчева, Апухтина и Козлова. Зная многие произведения А.С. Пушкина наизусть, она с огромным успехом читала их гостям своего литературного салона.
Обворожительной красавице и талантливой женщине посвящали свои стихи П.П. Вяземский, И.П. Мятлев, И.И. Козлов и А.С. Пушкин. Всем тогда были известны стихи Александра Сергеевича «В альбом княжне А.Д. Абамелек».
В 1832 году Анна Давидовна Абамелек становится фрейлиной императрицы, а через три года выходит замуж за родного брата русского поэта Е.А. Баратынского – флигель-адъютанта царя, полковника Ираклия Абрамовича Баратынского.
Брат Анны Давидовны – Семен Давидович Абамелек (отец Семена Семеновича Абамелек-Лазарева) являлся товарищем Михаила Юрьевича Лермонтова в Школе гвардейских подпрапорщиков и кавалерийских юнкеров. С Лермонтовым князя сближало серьезное увлечение изобразительным искусством и портретной живописью. Оба воспитанника элитного военного учебного заведения часто работали в доме князя Баратынского. После дуэли М.Ю. Лермонтова с де Барантом поэта сослали на Кавказ в действующую армию. В путь его тогда из столицы провожали не только товарищи по службе в лейб-гвардии гусарском полку, но и С.Д. Абамелек, его сестра и полковник князь Баратынский.