Перед своим путешествием по России Орлов в 1769 г., продал дом графине Анне Алексеевне Матюшкиной (1722–1804). Она была дочерью князя Алексея Матвеевича Гагарина и баронессы Анны Петровны Шафировой, дочери сподвижника Петра I вице-канцлера Петра Павловича Шафирова. После смерти от горячки своей старшей сестры она заняла ее место фрейлины при императрице Елизавете. Рассказывая в своих записках о событиях 1750– 1751 гг. будущая императрица Екатерина II вспоминает о княжне Гагариной: «Она была уже не первой молодости и хотела сыскать себе партию по вкусу. Она сама имела хорошее состояние, но была нехороша собою, хотя очень умна и уклончива. Ей приходилось во второй раз отказываться от своего предмета в пользу императрицы: сначала от Шувалова, теперь от Бекетова». Сама Екатерина Алексеевна была в это время увлечена Захаром Чернышевым и обменивалась с ним любезными записками через Гагарину, которая, как пишет Екатерина, «…наконец заметила, в чем дело, бранила меня, что я делаю ее посредницею и больше не согласилась переносить девизы». В 1754 г., считавшаяся уже сильно немолодой (ей было 32 года), Анна Алексеевна вышла замуж за молодого красавца Дмитрия Михайловича Матюшкина (1725–1800), который был моложе ее на 3 г. Сама императрица Елизавета уговорила мать Матюшкина дать согласие на этот брак. Благоволили к Анне Алексеевне впоследствии и Екатерина II и Павел, который в день своей коронации наградил ее орденом Св. Екатерины I-й степени и подарил ей для ношения в парадных случаях портреты – свой и своей супруги Марии Федоровны. Муж Анны Алексеевны Дмитрий Михайлович Матюшкин дослужился до тайного советника и камергера, в 1762 г. был возведен в графское достоинство императором Австрии Францем I. У четы Матюшкиных родилось двое детей – дочь Софья (1755–1796), фрейлина Екатерины II, и сын Николай (1756–1775), флигель-адъютант, росший в детстве вместе с будущим императором Павлом.
Софья Дмитриевна Матюшкина в 1788 г. была выдана императрицей за Юрия Михайловича Виельгорского. Он был польским посланником при Екатерине II, а потом, перейдя на русскую службу, – камергером и сенатором. Он также известен как один из учредителей Санкт-Петербургского филармонического общества. Софья была его первой женой и скончалась через три недели после очередных родов от лихорадки, оставив после себя семерых детей, заботы о воспитании которых взяла на себя бабушка Анна Алексеевна. Самые известные дети Софьи Виельгорской – известные знатоки музыки Михаил и Матвей Юрьевичи Виельгорские. В павловское время Виельгорские жили в этом доме. Анна Алексеевна Матюшкина пережила мужа и двоих детей и умерла в 1804 г. и была похоронена в Александро-Невской лавре. Дом перешел в собственность ее внуков – Михаила и Матвея Виельгорских. В 1812 г. исполнитель духовного завещания Матюшкиной и опекун над имением несовершеннолетних Виельгорских Гаврила Романович Державин продал дом рижскому банкиру Борису Клейну, а в 1822 г. им уже владел дворянин Иван Гаврилович Михайлов.
По объявлениям в газете «Санкт-Петербургские ведомости» можно проследить, что располагалось в доме Матюшкиной. Так 29 марта 1784 г. рекламировались «наилучшие десертные и столовые вина, аглицкое пиво, портер, италианские ликеры и разных сортов вейновые водки» в новозаведенном ренсковом погребе в доме графини Матюшкиной. А 1 апреля 1791 г. в тех же «Ведомостях» сообщалось, что здесь можно купить краску индиго, способ составления которой открыли в Санкт-Петербурге англичане Грессен и Парланд, не только не уступающую привозимой из Англии, но даже ее превосходящую.
С 1790-х гг. здесь был трактир «Город Гродня», или «Гродно», в 1809 году в нем остановился прибывший в Петербург виртембергский королевский министр граф Шенк де Кастель.
В 1826 г. по представлению уездного суда каменный дом умершего нарвского купца и дворянина Ивана Гаврилова Михайлова был отдан надворному советнику Калержи «на удовлетворение закладной в 210 000 руб.». Дом был оценен архитектором в 180 000, ценовщиками – в 150 000 руб. (видимо, ассигнациями). При этом был указан ежегодный доход от дома в 25 070 рублей. В 1779 г. Эммануил Коллержи «из греческих дворян» поступил в лейб-гвардии Преображенский полк, а через 20 лет перешёл на службу в Почтовое управление. В 1813 году у него еще до брака с Шарлоттой Федоровной Юргенсон родился сын Иван, узаконенный позже. После смерти Эммануила Ивановича Коллержи в 1829 г. дом перешел к сыну Ивану. Иван Эммануилович Калержи служил в Азиатском департаменте Министерства Иностранных дел. При нем в 1826 г. дом перестраивался по проекту, подписанному архитектором Себастьяном Черфолио.