Контора «Помполита» помещалась на Кузнецком мосту, в невзрачном доме 16, в конце коридора, рядом с курсами иностранных языков Берлица. В приемной сидели два секретаря, и обычно там толпилось множество посетителей. Когда в 1923 году Михаил Голицын пришел в контору «Помполита», его сразу провели к Пешковой, с которой они были знакомы с 1917 года, со времени совместной работы в «Обществе охраны материнства и младенчества». Михаил просил за брата Николая и племянника Кирилла. Пешкова не могла добиться их освобождения, однако благодаря ее вмешательству, отца и сына не отправили на Соловецкие острова; они отбывали срок в московской Бутырской тюрьме, и это спасло им жизнь.
21 января 1924 года умер Ленин. В мае 1922 года он пережил первый из многочисленных инсультов и с тех пор почти не участвовал в управлении страной. Четыре дня его тело лежало в московском Доме союзов, бывшем здании Благородного собрания, и сотни тысяч граждан приходили отдать последний долг вождю Октября. Одним из них был Сергей Голицын. Он пошел в Дом союзов с другом и вернулся домой к полуночи. Дома, узнав, где он был, негодовали. «Куда тебя понесло? Зачем? Что ты хотел увидеть? Будь жив твой дядя Миша, он бы тебе уши надрал!» – кричал кузен Георгий Осоргин.
Через два месяца Лиля Шереметева пришла к Голицыным в слезах: ночью в Наугольном доме были арестованы ее сын Николай, племянник Борис Сабуров и Дмитрий Гудович. Аресты положили начало процессу, известному как «дело фокстротистов». Множество людей, включая почти всех, кто танцевал фокстрот на Спиридоновке или участвовал в балах в Наугольном доме, были арестованы, в том числе престарелый распорядитель балов Владимир Гадон. Сестра Галины фон Мекк Люси отправилась на фокстротный вечер с молодым поэтом и попала в облаву; все мужчины были арестованы и многие отправлены на Соловки. Единственная семья, которой не коснулись аресты, были Голицыны.
Николая Шереметева выпустили, и он вернулся в Наугольный дом. Вскоре туда вновь пришли, на этот раз не для арестов, а чтобы объявить, что дом необходимо освободить в три дня. Не имея возможности в такой короткий срок перевезти куда-то имущество, Николай, Юрий Сабуров и Андрей Гудович вытащили мебель и десятки баулов, ящиков и коробок с антиквариатом на улицу и распродали прохожим за бесценок. Шереметевы жили в Наугольном доме три столетия. Все рухнуло в три дня.
Лиля не могла этого более выносить. Она решила заключить фиктивный брак с другом ее последнего мужа, латвийским дипломатом бароном Будбергом. Будберг, Лиля и четверо ее младших детей – Наталья, Петр, Мария и Павел – отправились в Ригу, на московском Белорусско-Балтийском вокзале их провожали десятки друзей и родственников и два тайных агента ОГПУ. В Риге Будберг предложил заключить настоящий брак, но Лиля отказалась, и он вернулся в Москву. Одно время Лиля с детьми жила в поместье своих родителей, позднее семья перебралась в Париж, а затем в Рим.
Дочь Лили Елена решила не ехать с матерью и братьями. Ее муж Владимир не хотел оставлять Россию и родителей, и они только что создали собственную семью. Елена снова увиделась с матерью только через сорок два года, во время краткой поездки в Рим, и вскоре после этого та скончалась.
Николай тоже остался: он был влюблен. Цецилия Мансурова, двадцатисемилетняя красавица с пронзительными карими глазами и пышными волосами, была восходящей звездой вахтанговского театра, где Николай только что получил работу. И хотя она была замужем и на шесть лет старше, Николай не устоял перед ее чарами и стал упорно за ней ухаживать. Одаренный музыкант, красивый и обаятельный, Николай быстро завоевал сердце Цецилии, и вскоре они уже жили вместе в комнате при бывшей конюшне во дворе театра, а позднее переехали в квартиру в кооперативном доме Вахтанговского театра в Большом Левшинском переулке. Уход Цецилии от мужа не произвел скандала; скандальным оказалось ее еврейское происхождение. «Многие находили это необъяснимым, – писал Сергей Голицын, – граф Шереметев женился на еврейке!» Именно благодаря Мансуровой Николаю удалось быстро выйти из тюрьмы: она просила за него кого-то из тех, кто имел большие связи, и ее красота и обаяние сделали свое дело. В следующие годы ей не раз придется вызволять таким образом своего любимого, встречаясь с Каменевым, Бухариным и Калининым. Один из музыкантов, коллег Николая, вспоминал, что, когда его мать, братья и сестры уезжали из Москвы, Николай порвал свой паспорт на глазах у Цецилии в доказательство своей преданности. Они прожили вместе всю жизнь, связанные любовью друг к другу и общей страстью к музыке и театру.