Юрий Елагин играл вместе с Николаем в вахтанговском театре восемь лет. Он высоко ценил его как человека и музыканта, который всегда был готов помочь ему совершенствоваться в игре. Елагин утверждал, что никогда не встречал человека более «изменчивого» и «многоликого». «Иногда он бывал простоват, даже груб, всеми манерами, разговором и даже костюмом напоминая простого рабочего», отчего рабочие сцены любили его чрезвычайно. Иногда же он бывал блестящ и элегантен, выглядел аристократом до кончиков ногтей. Когда в театр приезжали иностранные гости из Германии, Франции или Англии, Шереметева выпускали вперед, поскольку он блестяще владел основными европейскими языками и мог общаться с иностранцами совершенно свободно. Он рассказывал о прошлом семьи, только если много выпивал, а водкой Шереметев глушил боли, вызванные болезнью поджелудочной железы. Николай решительно отказывался показываться докторам и всячески скрывал свою болезнь.
Николай Шереметев испытал свою долю оскорблений и унижений. Когда он пришел получать паспорт, милиционер спросил его: «А не будете ли вы, гражданин, родственником графов Шереметевых?» «Я и есть граф Шереметев», – ответил он с вызовом. Его ответ вызвал оторопь у сотрудников, которые все же не решились тронуть Николая из-за известных всем связей Цецилии. Тогда милиционер швырнул ему паспорт под ноги, прошипев: «Бери, бери паспорт, барское отродье». Николай взял паспорт и вышел под градом оскорблений. Однажды происхождение Николая стало поводом для смешного случая. Как-то в ресторане Николай попросил официанта поторопиться с заказом. «Не графья, – отвечал официант, – можете и подождать», – вызвав дружный хохот Николая и его друзей. В сентябре 1937 года, в разгар Большого террора, Сергей Павлович Голицын был арестован по обвинению в саботаже. Следователи НКВД пытались заставить его оговорить Николая и Цецилию, с которыми Сергей работал много лет в театре. Сергей, однако, отказался. Он был расстрелян 20 января 1938 года. Николай и Цецилия выжили.
26 октября 1933 года Владимир Голицын уехал в Москву по делам, а через два дня был арестован на квартире его двоюродного брата Алексея Бобринского. Через несколько дней, не дождавшись мужа, Елена отправилась на поиски. Она посетила друга Владимира Павла Корина. Корин тогда писал портрет Генриха Ягоды, заместителя председателя ОГПУ, и обещал замолвить перед ним за Владимира словечко. В Москве Елена узнала, что через несколько дней следом за Владимиром арестовали его двоюродного брата Александра Голицына, сына Владимира Владимировича, и Петра Урусова, шурина Александра. Всех троих обвинили в создании подпольной организации в целях убийства Сталина.
В качестве улики ОГПУ использовало найденный в квартире Бобринского револьвер, который якобы должен был послужить орудием убийства. Находка оружия заставила многих членов семьи Голицыных подозревать, что Владимира и остальных подставил их кузен Алексей. Многие давно подозревали, что Алексей был осведомителем ОГПУ. Подозрения возникли в ходе предыдущих арестов, когда выяснилось, что власти хорошо информированы о частной жизни семьи, и единственным источником этой информации мог быть Алексей. Более того, у Алексея был доступ к оружию. В конце 1929 года в Москву приехал недавний выпускник Стэнфордского университета Робин Кинкед, который стал помощником известного журналиста Уолтера Дюранти. Алексей свел знакомство с Кинкедом и служил у него личным секретарем. Револьвер, который обнаружило ОГПУ, принадлежал Кинкеду, и Голицыны были убеждены, что Алексей намеренно взял у того револьвер, чтобы подставить собственную семью. Если действительно таков был его план, то он сработал против него самого, поскольку Алексея также арестовали.
Владимира вскоре выпустили благодаря вмешательству Ягоды. Алексея приговорили к десяти годам лагерей в Воркуте. Александр Голицын получил три года, которые отбывал в лагере на станции Яя в Западной Сибири. Петр Урусов был приговорен к трехлетней ссылке в Петропавловск в Казахстане. Его жена Ольга поехала за ним.
Родственникам Голицыных в Сергиевом Посаде тоже досталось. В апреле 1933 года Владимир Трубецкой был арестован по доносу его товарища музыканта, который сообщил в ОГПУ, что Трубецкой внушал жене и детям антисоветские взгляды. Владимира увезли в Москву и месяц держали на Лубянке, но затем отпустили.
За несколько месяцев перед тем, осенью 1932 года, ОГПУ арестовало Михаила Скачкова. Бывший белый офицер, бежавший после Гражданской войны в Чехословакию и вернувшийся в Советскую Россию в 1926-м, Скачков работал в иностранном отделе Главлита, главного цензурного ведомства. Оказавшись в очередной раз под следствием, Скачков назвал множество людей членами подпольной контрреволюционной организации, включая Владимира и Сергея Голицыных и их дядю Владимира Трубецкого. Чекисты однако не обратили на них внимания и сосредоточились на известном лингвисте Николае Дурново и его сыне Андрее. В 1928-м отец и сын Дурново были арестованы. Их арест проходил в рамках так называемого «дела славистов».