В 1795 году особняк выкупили в казну. Екатерина II подарила его младшему из братьев князей Зубовых – Валерию, но через три года домом уже владела новая хозяйка – княгиня Мария Григорьевна Голицына, у которой в 1802 году особняк купил министр внутренних дел граф В.П. Кочубей. После своей вынужденной отставки в 1802 году он продает особняк на Миллионной князю В.В. Долгорукову, а тот через десять лет за определенную сумму передает дом новому владельцу – князю А.Б. Куракину, вернувшемуся из Парижа, где он много лет занимал должность русского посла. Александру Борисовичу Куракину – члену Государственного совета удалось все же недолго, но и не без роскоши пожить в купленном доме. Удовольствия продлились всего шесть неполных лет, князь умер в 1818 году. Городской особняк князя приобретает предводитель губернского дворянства А.М. Потемкин. Благодаря его супруге Татьяне Борисовне дом на Миллионной становится на протяжении сорока с лишним лет, до самой смерти этой замечательной хозяйки, российским центром благотворительной деятельности. В 1827 году Татьяна Борисовна Потемкина становится главой Санкт-Петербургского попечительного комитета о тюрьмах. Особняк же после долгого периода неожиданно стабильного существования вновь выставляется на продажу. На протяжении последующих восьми лет он сменил двух владельцев, в 1880 году стал собственностью графа Н.П. Игнатьева, отправленного в отставку императором. Граф закончил свою жизнь, разорившись на финансовых операциях. Его племянник в своих воспоминаниях писал, что «владея сорока имениями, разбросанными по всему лицу земли русской, заложенными и перезаложенными, он в то же время оставался единственным членом Государственного совета, на жалованье которого наложили арест».
В 1904 году, за несколько лет до своей смерти, Н.П. Игнатьев вынужден был продать дом князю С.С. Абамелек-Лазареву, занявшему последнюю строку в длинном списке его владельцев.
В 1904 году новый хозяин дома № 22 князь Семен Семенович Абамелек-Лазарев обнаружил в нем некоторые сохранившиеся интерьеры, относящиеся к периоду перестроечных работ старого особняка в 1770-х годах.
Семену Семеновичу Абамелеку-Лазареву понравился сквозной участок между набережной Мойки и Миллионной улицы с особняком генерал-адъюнкта императора графа Н.И. Игнатьева. Дом № 22 князь решает реконструировать, перенести в него часть убранства и деталей из помещений дома своих предков Лазаревых, много лет служившего старинному княжескому роду.
Возможность использования при отделке интерьеров особняка на Миллионной улице, 22, уникальных деталей и элементов убранства, взятых из помещений оставленного князем дедовского дома № 40 на Невском проспекте, обсуждалась 30 апреля 1908 года на совете церковной армянской епархии Северной столицы. От имени князя Семена Семеновича Абамелек-Лазарева в работе совета участвовал его доверенный архитектор А.И. Таманов. Согласно сохранившемуся протокола заседания, совет армянских церквей постановил: «Исходя из внимания и глубокого уважения к старинной славной фамилии Лазаревых следует уважить желание представителя князя Абамелек-Лазарева – архитектора А.И. Таманова, ибо предметы из интерьеров жилых помещений княжеского дома представляют для него особый интерес как память о предках. Что же касается вопроса о возможном возмещении деньгами за взятые предметы, то Совет считает для себя неудобным переводить дорогие для князя предметы на деньги и решил предложить ему заменить взятые предметы». К протоколу совета приложили реестр предметов, намеченных к переносу на новое местожительство князя: «1. Паркетный инкрустированных пол из столовой – 15 кв. сажень. 2. Паркетный пол разноцветного дерева из кабинета – 21 кв. сажень. 3. Лепные карнизы с модульонами из кабинета и столовой – 35 пог. сажень. 4. Круглые изразцовые печи из столовой. 5. Камин с зеркалом – терракотовый из столовой. 6. Семь дверей соснового дерева с резьбой на филенках с лепными наличниками и сандриками…»
Князь Семен Семенович пожелал тогда перенести на Мойку балконную решетку, оконные рамы, дверные и оконные проемы и прочие фамильные детали дома, а весь необходимый ремонт выполнить в доме № 40 за собственный счет. Совет не возражал, но архитектор Таманов сумел приостановить бесконечный поток княжеских пожеланий, оставляющих в конечном итоге разоренный пустой каменный остов исторического здания на Невском проспекте. Мало того, зодчий предложил в обязательном порядке заменить вывезенные подлинники из дома № 40 их точными копиями и при этом даже настаивал на обязательном фотографировании всех изъятых предметов и архитектурных деталей, «поскольку они составляют ценные художественные памятники архитектуры конца XVIII – начала XIX века, тогда как при снятии некоторых частей убранства комнат и при их дальнейших переделках эти памятники могут совершенно исчезнуть». Фотографии некоторых помещений дома № 40 на Невском все же успели сделать.
В 1910 году С.С. Абамалек-Лазарев выполняет условие завещания своего предка Ивана Лазарева и покидает родовой дом.