Самое удивительное, что и при императоре Павле, ненавидевшем все, связанное с именем Потемкина, Григорий Голицын попал в любимцы и оставался таковым до 1799 года, после чего был отставлен «за неприличные поступки» и выслан из Петербурга. К тому времени двадцатилетний юноша дослужился до генерал-майора и управлял Военной канцелярией государя.
Александр I вновь принял Голицына на службу, хотя сделал это неохотно, уступая просьбам своей любовницы М. А. Нарышкиной, будучи невысокого мнения о способностях князя. Тем не менее в 1811 году Григорий Сергеевич получил заветный пост пензенского губернатора и, почувствовав себя самовластным хозяином, развернулся во всю ширь ничем не сдерживаемых сумасбродных наклонностей.
Г. С. Голицын
Из нахлебников и прихлебателей он завел собственный «двор», нарядив их в кафтаны серого цвета с синими стоячими воротниками. Но этого князю показалось мало; из писцов своей канцелярии и дворянской мелкоты он учредил особый «придворный штат» с «камер-юнкерами», «гофмаршалами» и «фрейлинами», облаченными в ливреи, пошитые из старых бархатных и атласных платьев его супруги. Для этих «подданных» по праздникам устраивались особые балы, начинавшиеся чинными полонезами, а заканчивавшиеся бешеными русскими плясками вприсядку. В качестве угощения подавались брусника и моченые яблоки.
Вдобавок ко всему, желая уподобиться Людовику XIV, Григорий Сергеевич, верный и нежный супруг, посчитал необходимым завести себе пару мнимых «метресс» (фавориток), на роли которых сгодились, по словам Вигеля, «две пожилые женщины, одна вдова, другая дева». При этом первая, которую Голицын пожаловал своей «маркизою де Монтеспан», неизменно обыгрывала его в бостон и ссужала деньгами под высокие проценты, а вторая, всерьез обожавшая легкомысленного шалуна, служила посмешищем всему городу. «И что всего забавнее, – прибавляет Вигель, – он заставлял жену показывать чрезвычайную холодность к обеим сим дамам…»
За этими забавами незаметно шли годы. Делами князь занимался мало, предоставив их в полное распоряжение одному советнику губернского правления, а сам, подражая библейскому царю Давиду, распевал псалмы, переложенные на мотивы народных песен, аккомпанируя себе на арфе. Через пять лет Г. С. Голицына наконец уволили от губернаторской должности, а в 1819-м он попал туда, куда отправляли за ненадобностью всех неспособных сановников, то есть в Сенат. В 1822 году император предоставил ему трехлетний отпуск, и в сопровождении изрядно поредевшей челяди (имущественные дела Григория Сергеевича из-за его затей сильно пошатнулись) княжеское семейство отбыло в свои имения.
После Володимерова домом владел титулярный советник Богданов, продавший его в 1835 году графу Я. И. Эссен-Стенбок-Фермору, которого, невзирая на титул, можно назвать человеком чисто купеческой складки. Он приходился внуком Сарре Фермор, чей превосходный портрет кисти И. Я. Вишнякова украшает картинную галерею Русского музея. Ее муж, бригадир граф Понтус Стенбок, стал основателем новой ветви двух старинных родов шведско-шотландского происхождения.
В молодости Яков Иванович служил в аристократическом Конногвардейском полку; затем женился на единственной дочери бывшего столичного генерал-губернатора П. К. Эссена, присоединив фамилию тестя к своей. Он взял за супругой весьма значительное приданое и, перейдя с военной службы на гражданскую, пустился во все мыслимые и немыслимые предприятия. Он строит доходные дома и торговые бани, устраивает первый в городе водопровод, с невиданным размахом возводит гостиницу на Знаменской площади и одновременно – пассаж на Невском проспекте.
Правда, водопровод через несколько лет был продан им другому лицу, и дело это заглохло на долгие годы; гостиница обрушилась, потому что при постройке использовались некачественные материалы; но зато «Пассаж», которому уже перевалило за полтораста лет, остался нерушимым памятником графской предприимчивости. Да и гостиницу (нынешнюю «Октябрьскую» на площади Восстания) в конце концов все же достроили, и по сей день она принимает постояльцев.
Не забыл Яков Иванович и собственный дом, где прожил более двадцати лет: в 1848 году, в период наивысшей предпринимательской активности, он по проекту архитектора В. Е. Моргана расширил корпуса по Сергиевской улице и Воскресенскому проспекту, объединив их с упомянутым флигелем и сохранив классический фасад. Лишь в пристройке над въездными воротами использованы ренессансные мотивы.
Двумя годами ранее граф добился разрешения на устройство водопровода; с этой целью у Воскресенского наплавного моста на Неве была установлена «водокачальная машина», а от нее проложены деревянные трубы по Сергиевской, Знаменской и Малой Итальянской улицам. Разумеется, первым, куда пошла по водопроводу невская вода, стал дом самого Я. И. Эссен-Стенбок-Фермора.