Через два года дом перешел к другому хозяину, на этот раз надолго: граф Петр Кириллович Разумовский (1751–1823), сын гетмана Кирилла Григорьевича, владел им до самой смерти. Граф был женат на Софье Степановне Ушаковой (по первому мужу Чарторыйской), пятью годами старше его, известной при дворе своим щегольством и страстью к развлечениям. Перед женитьбой великого князя Павла Петровича императрица, сомневавшаяся в производительной способности сына, возложила на Софью Степановну деликатную миссию, связанную с проверкой мужских достоинств наследника престола. Результатом этого было появление на свет Семена Великого, ставшего впоследствии лейтенантом флота и рано умершего.
Вскоре после рождения сына Софья вышла замуж за Разумовского. Старый гетман остался очень недоволен этой свадьбой и своей невесткой, которую он, неизвестно почему, называл «картузной бабой». Как муж, так и жена отличались расточительностью и вдобавок были схожи нерешительностью и переменчивым характером, а посему, вероятно, жили душа в душу. Неизлечимая, по мнению свекра, болезнь графини (солитер) требовала постоянного лечения, и супруги первое время почти безвыездно жили в Италии.
По восшествии на трон Павел назначил Петра Кирилловича присутствующим в Сенате; Разумовские возвращаются в Петербург и некоторое время спустя поселяются в доме, купленном у Мятлева и украшенном множеством ценных вещей, приобретенных во Франции во время революции.
Через четыре года Софья Степановна скончалась. Огорченный супруг заказал великолепный саркофаг для установки на ее могиле в Александро-Невской лавре, велев высечь на нем такую эпитафию:
Этот счастливый брак остался бездетным, и после смерти самого графа имущество по завещанию было разделено между его «воспитанниками», родившимися от внебрачных связей. От вдовы А. В. Деденевой, дочери своего кузена В. И. Разумовского, он имел сына – Н. Н. Оржицкого, декабриста, сосланного на Кавказ. Одна из дочерей графа вышла замуж за полковника конной артиллерии Пистолькорса; ей-то и достался по наследству дом на набережной. С согласия жены Пистолькорс в январе 1827 года продал его графу А. Г. Кушелеву-Безбородко, внучатому племяннику покойного канцлера, принявшему по высочайшему указу его фамилию и герб.
Новый владелец по проекту архитектора В. А. Глинки перестроил дом, приспособив к своим надобностям. Желая сделать из него «храм искусств» и, в частности, украсить классическими скульптурами, он вступил в переговоры с пенсионером Академии художеств С. И. Гальбергом относительно изготовления статуй. Это похвальное стремление боролось в Александре Григорьевиче с чувством природной бережливости, и он никак не мог решиться на подобную трату, заставляя волноваться скульптора, боявшегося лишиться выгодного заказа.
Художник Орест Кипренский в письме, датируемом началом 1827 года, утешал друга: «Как он ни скуп, однако мы с Глинкою струну натянем, и Граф Кушелев не отделается от хорошей статуи вашей, или и не одной, ибо он хочет отделать дом и оный открыть для публики. <… > Он с затеями, да скупенек, говорят».
Имя Александра Григорьевича Кушелева-Безбородко (1800–1855) связано прежде всего с превосходной коллекцией картин, завещанной впоследствии его сыном, Николаем Александровичем, в дар Петербургской Академии художеств, а в настоящее время хранящейся в Эрмитаже, «для составления публичной галереи, открытой постоянно для художников и публики, допускаемых без стеснения в форме одежды».
Основание этой галереи положил еще канцлер А. А. Безбородко, а позднее она была значительно пополнена самим Александром Григорьевичем и в первую очередь Николаем Александровичем, собиравшим произведения современных ему французских художников.
Однако заслуга открытия галереи для публичного, хотя и ограниченного доступа принадлежит А. Г. Кушелеву-Безбородко. Журнал «Иллюстрация» сообщал об этом своим читателям: «7 февраля 1846 года в доме его сиятельства графа А. Г. Кушелева-Безбородко происходило открытие новой галереи. Смежный дом, приобретенный графом недавно, слит в одно здание с главным домом. Из этого образовался целый лабиринт прекрасных покоев, а между прочим и прекрасная зала, освещенная сверху, где поместилась новая галерея, или, лучше сказать, часть огромной картинной галереи графа Кушелева-Безбородко. Многие из картин первоклассного достоинства; это новое помещение возвратило многим мастерским произведениям их действительное достоинство, которое прежде терялось от несвойственного освещения».