Пожар 1812 года не обошел владений Хованского. Все постройки обгорели и требовали непосильных для князя расходов на восстановление. В 1817 году все домовладение переходит к купчихе Марье Федоровне Бессоновой. Она возводит на участке несколько каменных построек, каменным же забором обносит весь участок, оставляя единственный въезд во внутренний двор со стороны Арбата. Под главным домом делается большой подвал, по всей вероятности, типа склада.
Но уже в 1826 году происходит очередная смена владельца. Хозяйство купчихи Бессоновой переходит к князю Щербатову, а через год к отставному гвардии поручику графу Василию Алексеевичу Бобринскому, родному внуку императрицы Екатерины II.
Само появление графов Бобринских было связано для императрицы с рядом нешуточных неприятностей. Побочный ребенок от графа Григория Григорьевича Орлова, основатель династии родился 11 апреля 1762 года, в четверг, на Пасхальной неделе, как вспоминала сама Екатерина. Роды необходимо было любой ценой скрыть от Петра III, и преданный Екатерине ее камердинер Василий Шкурин пожертвовал собственным домом на окраине Петербурга, чтобы отвлечь возбужденного и крайне подозрительного императора зрелищем пожара, до которых Петр III был большим охотником. Екатерина не только уложилась в эти два часа с родами, но сумела так устроить, чтобы все следы случившегося исчезли, а сама она встретила мужа на ногах, как ни в чем не бывало. Осмотренная императором спальня супруги ничем не выдала родильницы.
По всей вероятности, родившийся Алексей Григорьевич был дорог матери, потому что в 1765 году уже пришедшая к самодержавной власти Екатерина наградила его титулом графа Бобринского (по поместью в Тульской губернии). Ребенком занялся Иван Иванович Бецкой, которого молва называла действительным отцом Екатерины. Императрица постоянно навещала мальчика, отправила по окончании в 1782 году Кадетского корпуса с чином поручика для пополнения образования за границу.
Но с течением времени окончательно разочаровалась в сыне. Ленивый, капризный, расточительный, постоянно жаловавшийся на материальные недостатки и собственное положение, Алексей Григорьевич Бобринский в апреле 1788 года был возвращен в Россию, но с запрещением являться ко двору. Местом его жительства был назначен Ревель, где Бобринский не стал менять своих привычек, пока неожиданно для всех не женился на дочери местного коменданта, баронессе Анне Владимировне Унгерн-Штернберг.
Веселый, покладистый нрав невестки, никак не стремившейся ко двору, вполне устроил императрицу. Жизнь молодых супругов сложилась вполне благополучно, причем они стали родителями одной дочери – Марии, будущей супруги гофмейстера князя Н. С. Гагарина, и троих сыновей – Алексея, Павла и Василия. Алексей Алексеевич приобрел широкую известность своими трудами в организации свеклосахарного производства, в частности вблизи Киева, в масштабах, невиданных для Европы. В честь него в Киеве была поставлена бронзовая статуя с земледельческими орудиями у ее подножия и надписью: «Полезной деятельности графа Алексея Алексеевича Бобринского». Ему же принадлежал изданный в Москве в 1868 году ценный труд «О применении системы охранительной и свободной торговли в России». Его сын Владимир Алексеевич стал министром путей сообщения.
Василий Алексеевич оказался во многом похожим на отца. Свои усилия он тратил только на устройство собственной жизни и, в частности, арбатской усадьбы, с которой связано детство его сына Алексея Васильевича, в будущем члена Государственного совета и егермейстера Двора. По непонятной причине Павел I очень благоволил к А. Г. Бобринскому, открыто признавая кровное родство с ним. Через пять дней после своего восшествия на престол возвел сводного брата в генерал-майоры, а затем и в графское достоинство.
Пушкин был хорошо и близко знаком со всеми членами этой семьи. Поэт с большим уважением относился к «старой графине», встречался с ней в петербургском свете и в доме ее сына, А. А. Бобринского, женатого на графине Софье Александровне Самойловой, приближенной императрицы Александры Федоровны. «Старой приятельницей» А. С. Пушкина, по выражению П. А. Вяземского, была супруга Павла Алексеевича – Юлия Станиславовна, урожденная Юноша-Белинская. И все они бывали в арбатском поместье Василия Алексеевича, с 1830 года женатого на Софье Прокофьевне Соковниной, правнучке боярыни Морозовой. При Василии Алексеевиче дом на Арбате приобретает размеры дошедшего до нас здания. Существенно и то, что В. А. Бобринский был причастен к декабристскому движению.