В особняке И.И. Бецкого вместе с мужем проживала дочь Бецкого – камер-юнгфера Анастасия Ивановна Соколова. Ее супругом являлся будущий адмирал О.М. де Рибас, приглашенный на русскую службу графом А.Г. Орловым. Сын испанского дворянина молодой подпоручик Хосе де Рибас познакомился с графом Орловым в Италии и помог ему вывезти в Петербург авантюристку Елизавету Тараканову, выдававшую себя за дочь русской императрицы Елизаветы Петровны и претендовавшую на русский престол. За оказанную услугу Екатерина II возводит подпоручика де Рибаса в подполковники и назначает офицером Сухопутного шляхетского кадетского корпуса. В 1776 году он женится на внебрачной дочери И.И. Бецкого А.И. Соколовой и на некоторое время даже поселяется в особняке екатерининского вельможи.
Иван Иванович Бецкой, оставаясь холостяком, пользовался успехом у женщин и юных воспитанниц Смольного института. В возрасте 75 лет Бецкой взял шефство над выпускницей Смольного и любимицей русской императрицы Глафирой Ивановной Алымовой. Старик удочерил ее и поселил в своем роскошном доме.
В своих записках Г.И. Алымова воспоминала: «Страсть Бецкого ко мне дошла до крайних пределов и не была ни для кого тайною, хотя он скрывал ее под видом отцовской нежности. В семьдесят пять лет он краснел, признаваясь, что жить без меня не может. Будь он откровенным, я бы охотно сделалась его женою».
Однако у Бецкого появляется молодой соперник – сенатор и камергер при Екатерине II, член российской Академии наук, видный масон тех лет и вдовец Алексей Андреевич Ржевский, сделавший Алымовой официальное предложение. И.И. Бецкой негодует, делает все, чтобы не допустить свадьбы приемной дочери, но, признав свое поражение, ставит влюбленным непременное условие: молодые должны поселиться в его доме. Покой в апартаментах Бецкого был нарушен, домочадцы, ранее мирно сосуществовавшие, теперь напоминали клубок ядовитых змей. Внебрачная дочь Ивана Ивановича, жена де Рибаса, опасалась, что старый ловелас, в пылу своей страсти перепишет завещание в пользу приемной дочери Глафиры Алымовой. Дело завершилось миром. Ржевский построил на Фонтанке собственный дом и немедленно переехал в него со своей молодой супругой. Анастасия де Рибас успокоилась и после кончины Бецкого в 1795 году унаследовала отцовский дом на границе Марсова поля.
После скоропостижной смерти в 1800 году адмирала Осипа Михайловича (Хосе) де Рибаса и смерти в 1822 году его супруги Анастасии Ивановны, домом владели их старшая дочь Екатерина Осиповна и ее муж – преуспевающий столичный оберполицмейстер генерал-майор Иван Саввич Горголи, позже ставшим сенатором. Ему как главе семейства согласно завещанию отошел основной корпус особняка Бецкого, выходящий на Дворцовую набережную, а корпус дома, выходящий на Марсово поле, унаследовала младшая дочь супругов де Рибас – Софья Осиповна.
Иван Саввич Горголи, пройдя суровую военную службу и удостоенный высших военных орденов, награжденный золотой шпагой с надписью «За храбрость», оставался человеком сугубо светским и не слишком утруждал себя проблемами городской полиции. Русский журналист и филолог, издатель столичной газеты «Северная пчела» и журнала «Сын Отечества» Н.И. Греч в своих мемуарах дал довольно объективную характеристику этому последнему фактическому владельцу особняка И.И. Бецкого: «В молодости своей, служа в гвардии, Иван Саввич Горголи был образцом рыцаря и франта. Никто так не бился на шпагах, никто так не играл в мячи, никто не одевался с таким вкусом, как он. Ему теперь за семьдесят лет, а он в этих упражнениях одолеет хоть кого. Он первый начал носить высокие тугие галстуки, прозванные по нем „горголями“… В 1811 году его назначили санкт-петербургским обер-полицмейстером. Он, от природы добрый, и на месте этом зла не делал».
В 1831 году бывший обер-полицмейстер, но уже сенатор Иван Саввич Горголи активно занимается устройством холерных бараков инфекционных больниц в охваченном страшной эпидемией городе. «Северная пчела» тогда писала, что «он обратился с призывом к купцам и сановникам поддержать своей благотворительностью усилия властей в борьбе с холерой. Обращение сенатора тогда не осталось без отклика…»