Что же до церкви в усадьбе Голицына, то она располагалась на втором этаже в правом крыле существующего ныне здания. По легенде в Рождественской церкви дома Голицыных хранились две иконы, подаренные (или оставленные здесь) Екатериной II в память о своем браке с князем Потемкиным, видимо венчальные. Вероятно, что эта легенда и осталась в памяти в связи с пребыванием в голицынском дворце самой Екатерины. Позднее, в 1902 г., Рождественская церковь обновлялась. Один из лучших московских архитекторов того времени К.М. Быковский отделал ее в готическом стиле, а иконостас – в классическом. Когда церковь закрыли, ее иконостас был разобран и передан в церковь села Алексеевского.
После смерти князя дом достался его племяннику, дипломату Михаилу Александровичу Голицыну (1804–1860). Новый хозяин этого владения предполагал сделать его более доступным для москвичей – создать музей, выставив коллекцию произведений искусства, собранную дядюшкой и пополненную собственными приобретениями в Европе. М.А. Голицын собрал свою коллекцию во время дипломатической службы в Испании и в Италии, во Флоренции и в Риме. Но реализовать задуманное Голицыну не пришлось: он скончался через год после смерти незабвенного дядюшки.
Через пять лет сын Михаила Голицына, тоже Сергей Михайлович, внучатый племянник князя, исполнил волю отца: 26 января 1865 г. на втором этаже главного дома открылся музей, который вскоре стали называть «московским Эрмитажем». В залах дворца экспонировались картины известных европейских художников, богатое собрание бронзы, вазы из слоновой кости, принадлежавшие Марии Антуанетте, книги из библиотеки маркизы Помпадур, картины Леонардо да Винчи, Корреджо, Рафаэля, Рубенса, Пуссена, мраморные канделябры из Помпеи и прочие редкости.
Посетителей музея встречал швейцар в мундире лейб‑гусара. Музей был открытым для общественности, однако сохранились любопытные свидетельства о том, как происходил осмотр. По желанию хозяина полюбоваться его коллекцией могли лишь те, кто приходил на воскресную службу в его домовую Рождественскую церковь. По окончании все шли в княжескую столовую на воскресный чай, на котором присутствовал хозяин, а оттуда уже в музей.
Однако через двадцать лет после открытия музея хозяин решил продать свою коллекцию с аукциона. Большую ее часть за 800 тысяч рублей выкупил петербургский Эрмитаж.
В 1877 г. Голицын сдал первый этаж своего дома под квартиры. Музейные залы были перестроены под меблированные комнаты для сдачи внаем, а после перестройки левого флигеля в 1892 году они получили название «Княжий двор». В голицынской усадьбе открылась комфортабельная московская гостиница.
С 1877 по 1886 г. в княжеских апартаментах жил драматург А.Н. Островский. Когда он оформлял договор о найме, то смотритель дома стал объяснять, что перед тем, как сдать квартиру, он всегда собирает справки о нравственных качествах будущего квартиранта. Островский в шутку решил сообщить ему «некоторые из своих достоинств – что я не пьяница, не буян, не заведу в квартире азартной игры или танцкласса». Здесь Островский написал свои пьесы «Бесприданница», «Таланты и поклонники». У него бывали Л.Н. Толстой, П.И. Чайковский, И.С. Тургенев и другие. В конце 1874 г. здесь состоялось первое публичное выступление композитора, пианиста и педагога С.И. Танеева, который в тот период учился у Чайковского.
В нижнем этаже дома Голицыных жил и почетный академик Петербургской академии наук Б.Н. Чичерин, выбранный московским городским головой в 1882 г. и занимавший этот пост до 1883 г. Его племянник Г.В. Чичерин был одним из самых образованных членов первого советского правительства, народным комиссаром иностранных дел.
В 1888–1892 гг. в доме помещалось частное училище И.М. Хайновского, в 1894–1898 гг. – снимала помещения под классы консерватория, с 1909 г. – торговая школа, лаборатории биологии, физики и кристаллографии Народного университета имени А.Л. Шанявского.
Альфонс Леонович Шанявский (1873–1905) был человеком очень интересной судьбы: генерал‑майор, с отличием окончивший Академию Генерального штаба, золотопромышленник (после окончания военной службы), он завещал свое состояние для устройства Народного университета. В завещании он писал: «В нынешние тяжелые дни для нашей общественной жизни, – признавая, что одним из скорейших способов ее обновления и оздоровления должно служить широкое распространение просвещения и привлечение симпатии народа к науке и знанию, прошу город Москву для этого почина принять от меня в наследство мой дом с землей для устройства и содержания в нем первого русского народного университета. Конечно, есть вещи непреложные, и свободное образование после многих веков мрака придет и в нашу страну. (В этом твердом уповании я и несу свою лепту.)»