Аресты по «делу фокстротистов» продолжались. Весной 1924 года Анна Сабурова, Мария Гудович и почти все их дети – Борис и Юрий Сабуровы, Дмитрий, Андрей, Варвара и Меринька Гудович – оказались в Бутырской тюрьме. ОГПУ начало следствие с выяснения политических взглядов арестованных. В годы НЭПа слова о лояльности к советской власти, как правило, гарантировали быстрое освобождение из тюрьмы или ссылки. Многие заключенные получали приговоры, в просторечии именуемые «минус шесть», в соответствии с которыми им запрещалось жить в шести крупнейших городах СССР – Москве, Петрограде, Киеве, Харькове, Свердловске и Тбилиси, – а также во всех приграничных районах СССР. Арестованные, на вопрос о политических взглядах отвечавшие, что они монархисты, отправлялись на несколько лет в лагеря. Анна Сабурова была выслана на три года в Калугу, ее дочь Ксения последовала за ней; Борис и Юрий получили «минус шесть» и были высланы на три года в Ирбит на Урале. Отбыв наказание, братья вновь получили «минус шесть» и в 1927 году переехали в Калугу. Мария Гудович и ее дети Меринька, Андрей и Дмитрий также были высланы в Калугу, затем обосновались в Царицыне. Вышвырнув Шереметевых из Наугольного дома, ОГПУ теперь изгоняло их и из столицы.
В Бутырской тюрьме содержались революционеры и смутьяны, выступавшие против царской, а затем и советской власти, включая Нестора Махно, Феликса Дзержинского, Варлама Шаламова и Александра Солженицына. В этих стенах побывал даже Гарри Гудини, исполнивший рискованный побег из Бутырки в 1908 году. В 1924-м многие заключенные, в том числе Николай и Кирилл Голицыны, содержались в камере № 8, которую называли «нашим дворянским колхозом». Здесь Кирилл получил возможность познакомиться со множеством пожилых дворян и свести близкую дружбу с молодыми – Дмитрием Гудовичем и Сергеем Львовым. Владимир Трубецкой провел в Бутырке два месяца, после того как вместе с другими дворянами был арестован в Сергиевом посаде в декабре 1924 года.
Георгий Осоргин оказался в камере № 8 в марте 1925 года. Он был арестован на квартире Сандры Мейендорф, сестры Лилии Шереметевой. Мейендорф привлек внимание ОГПУ тем, что работал на Джона Эллиота, представителя Аверела Гарримана. Незадолго до ареста Осоргин писал Григорию Трубецкому в Париж: «Они начали зачистку Москвы от враждебных элементов». В одну ночь были арестованы тридцать друзей Осоргина. Арестовывали так часто, что остряки шутили: «Вопрос из советской анкеты: были ли вы арестованы, и если нет, то почему». Для «бывших людей» вроде Осоргина шутка была несмешная. В первый раз он был арестован в сентябре 1921 года во время облавы в доме его тетки Ольги Трубецкой. Прежде чем его увели, он сумел передать жене Лине короткую записку: «Вот настал и твой черед, душка моя, подвергнуться испытанию. Да хранит вас всех Господь. Молитесь за меня и будьте совершенно спокойны. Я ни одной минуты не боюсь за себя, и все мысли мои о вас, остающихся…»
Голицыны хлопотали за Георгия, обращаясь, как и прежде, к Енукидзе, Смидовичу и Пешковой. На стандартный вопрос о своей лояльности советской власти Осоргин не стал лгать, заявив следователям, что он монархист. Генрих Ягода, фактический глава ОГПУ, утверждал, что во время следствия Осоргин держался «вызывающе». 12 октября 1925 года Георгий был приговорен к расстрелу, но в результате вмешательства Пешковой приговор был заменен на десятилетнее тюремное заключение, что на время спасло ему жизнь. Георгий оставался в Бутырке три года. Он чувствовал себя виноватым за страдания, которые его арест принес Лине. «Если судьба мне умереть в тюрьме, – написал он на платке, который передали из тюрьмы его тетке Анне Голицыной, – я бы хотел, чтобы Лина и моя семья знали, что я умер с миром, молясь, чтобы Лина нашла счастье и чтобы ее земная жизнь не была цепью страданий и сожаления, что она вышла за меня…» В тюрьме Георгия поддерживала несокрушимая вера в Бога и воспоминания о семье и той жизни, которую они вели до революции в своем поместье Сергиевское; он называл поместье «духовной колыбелью, где родилось и выросло все, чем каждый из нас живет и дышит».