В марте 1921 года Голицына уволили с поста директора и арестовали. Какие обвинения ему предъявлялись, неизвестно. Среди сотрудников ходили слухи, будто Голицын руководил в музее тайным «буржуйским обществом». Правда, никакого обвинения ему так и не было предъявлено, и вскоре князь был отпущен.
В отличие от Павла Сергеевича Шереметева, большинство дворян, работавших кураторами, переводчиками, архивариусами, не имели специального образования. Выйдя из Бутырки, Николай Голицын устроился работать переводчиком в Институт Маркса и Энгельса, его брат Михаил зарабатывал переводами сочинений Золя, и эта работа приносила ему огромное удовольствие. Их отец, «мэр», получил заказ на перевод «Озорных рассказов» Бальзака и «Фауста» Гёте и деньги на чтение лекций в разных обществах типа «Друзья Старой Москвы», «Общество друзей книги», в Цекубу[1]
. Работа подпитывала дух и плоть «мэра», особенно в тяжкие моменты. 10 ноября 1925 года Софья, его жена, с которой они прожили пятьдесят четыре года, умерла в Сергиеве Посаде в возрасте семидесяти четырех лет. Боль от потери Софьи не отступала со временем, и всю оставшуюся жизнь он тосковал по тому дню, когда они снова будут вместе, уже навсегда.Внук «мэра» Сергей в юности мечтал стать писателем, но родители настояли, чтобы он получил практическое образование, поэтому он окончил курсы бухгалтерии и бухгалтерского учета. Однако он надеялся, что все-таки сможет поступить в университет. В середине 1920-х начались репрессии против дворянских детей в высших учебных заведениях; сестра Сергея Соня была отчислена из университета, и никакие хлопоты известных ученых не помогли ей восстановиться.
В феврале 1927 года к числу лиц, лишенных избирательных прав, были отнесены и дети бывших помещиков. В то же время ВЦИК восстановил в правах бывших жандармов, агентов полиции и тюремных охранников. В школах был введен новый предмет «политграмота», а в День революции все учащиеся должны были отныне выходить на демонстрацию.
Осенью 1927 года Сергей держал вступительные экзамены на ВГЛК (Высшие государственные литературные курсы) в Москве. Самым каверзным на экзаменах был вопрос о социальном происхождении. Сергей дал самый разумный ответ: «Отец служащий, мать домашняя хозяйка». Это сработало, и Сергей был принят. И хотя среди учащихся было немало таких, как Сергей, атмосфера в ВГЛК была агрессивно-враждебной. Стенгазета призывала: «Очистим наши ряды от чуждых элементов!», а на собраниях студенты выступали против оказавшихся в их рядах «разных князей и графьев».
Вскоре было объявлено о чистке преподавательского состава и проведено собрание, на котором всех призывали быть бдительными и выявлять «тайных врагов». Каждый студент должен был пройти специальное собеседование с директором школы, председателем студенческого комитета и секретарем райкома партии. Сергею задали вполне ожидаемый вопрос: «Приходитесь ли вы родственником князю Голицыну?» В ответ он заявил, что брат деда был богатым человеком, но прадед был декабристом, а отец никогда никакими землями не владел и всю жизнь служил. Сестра Сергея Маша, тоже учившаяся на ВГЛК, как и он, несколько дней ждала решения своей участи. В конце концов обоих оставили учиться.
Княжну Киру Жуковскую исключили, а вскоре арестовали ее отца, выгнали и князя Гагарина. Любимый учитель Сергея, философ Г. Г. Шпет, позже был арестован как монархист; его расстреляли в Томске в 1937 году. Сергей не смог завершить свое образование: в годы сталинской культурной революции ВГЛК закрыли как притон идеалистов и «бывших людей».
В 1927 году Юрий Сабуров, отбыв ссылку в Ирбите, приехал погостить к Голицыным в Москву. Юрий не мог найти работу, и Владимир Голицын привлек его делать эскизы и чертежи в различных журналах, с которыми был связан. Сергей Голицын вспоминал его как юношу трудолюбивого, застенчивого и спокойного, отдававшего весь свой скудный заработок матери.