В конце лета жизнь в Богородицке стала ухудшаться. Эсеры уехали, и большевики обратили внимание на дворян, мирно живущих в старинной фамильной усадьбе. В газете «Красный голос» появилась статья, озаглавленная «Как долго мы будем это терпеть?!» и содержавшая донос о жизни «подозрительной графинечки» и «круглолицых маленьких графов в матросских костюмчиках» в Богородицке. Автор вопрошал, когда наконец это дворянское гнездо будет искоренено. Однажды вечером, когда семья наслаждалась музыкой, в дом вломилось несколько солдат под предводительством матроса, обвязанного пулеметными лентами и размахивавшего наганом. Солдаты начали обыск под аккомпанемент Зальцмана, который никогда не расставался со скрипкой. Они не нашли ничего, кроме нескольких писем по-немецки и по-французски, которые и забрали в качестве доказательства, что эти люди шпионы. Наутро они посадили «мэра», Льва Бобринского и Владимира Трубецкого в телегу и увезли; посмотреть на них собралась толпа крестьян. Остальным членам семьи дали двадцать четыре часа, чтобы уехать, оставшихся слуг отправили в богадельню. Анна с детьми переехала в Богородицк и нашла приют в захудалой гостинице. Когда шел дождь, вода лилась сквозь дыры в крыше, текла по стенам и ручьями разливалась по полу.
«Мэра» и двух его зятьев освободили через шесть недель, но дома они прожили недолго, до следующего ареста в начале 1919 года. Их увезли в Тулу, а оттуда в московскую Бутырскую тюрьму. На этот раз «мэра» и Льва вскоре освободили; Каменев, ставший председателем Московского совета, пригласил «мэра» к себе, принес извинения за арест, сказав, что отлично помнит его доброе отношение к политическим заключенным в те времена, когда «мэр» управлял городом, и вручил ему охранное письмо. Голицыны бережно хранили каменевское письмо, оно до сих пор у них; весьма вероятно, что оно спасло «мэру» жизнь. Владимира Трубецкого в конце концов также освободили, и он вернулся к жене и детям.
Несмотря на аресты, обыски и тяжелые материальные условия, жизнь большой голицынской семьи продолжалась, при этом никто не отчаивался и даже не роптал на судьбу.
Младшие члены семьи совершали тайные ночные набеги на яблоневый сад позади бывшей усадьбы; мясной рацион составляла изредка добываемая конина. Один из бывших слуг, беспокоясь, что семья испытывает нужду, прислал Анне кусок курицы и немного сухарей, хотя сами они жили очень бедно. Анна тоже делилась с ними скудными припасами своей кладовой, посылая им хлеб и кофе.
Отчаянные поиски еды уравняли аристократов с остальной Россией. В Петрограде люди обдирали с деревьев кору и собирали траву в парках, чтобы сварить похлебку; на павших от бескормицы лошадей набрасывались с ножами и топорами и тащили в свои промерзлые квартиры мясо, требуху и жилы. Князь Сергей Трубецкой шутил, что теперь, когда слуга докладывает: «Ваше сиятельство, лошадь подана», – это означает не оседлана, а приготовлена.
Анне удалось вывезти семью из гостиницы в квартиру местного школьного учителя. Один из постояльцев, молодой большевик, подпал под обаяние ее дочери Сони. Когда Соня отвергла его ухаживания, он донес о семье местным властям, и Анна опять вынуждена была переехать, на сей раз в двадцать четыре часа.
К концу лета 1919 года, когда армия Деникина двигалась на север, в городе пошли толки, что при отступлении красные берут заложников и расстреливают их. Голицыны знали, что опасность реальна. В том году двое кузенов Анны были взяты в заложники и расстреляны в Орле. «Мэр» и его сын Михаил решили скрыться, первый – в общей палате местной больницы, второй – у товарища по службе. Через несколько дней опасность, казалось, миновала, и оба вернулись домой. Ночью 16 октября «мэра» разбудили известием, что Владимир Трубецкой арестован после обыска в его городской квартире. Чекисты пришли также арестовать Михаила, но ему удалось скрыться. Тогда они арестовали Анну, а также их дочь Лину и племянницу Соню Бобринскую. Уводя женщин, чекисты сказали, что отпустят их, если Михаил явится сам. Слова эти передали Михаилу, и он немедленно явился в ЧК. В тот же вечер женщин освободили. Через несколько часов Михаил, Владимир и другие заложники были отправлены на вокзал, семья последовала за ними, и сын Михаила Сергей смог передать отцу несколько картофелин, прежде чем их посадили в вагоны.
Арестованных увезли в Тулу в концентрационный лагерь. Анна простилась с семьей и уехала, чтобы быть ближе к мужу. 12 ноября Михаил написал детям из лагеря: