Тем не менее она убеждала сына в необходимости жить настоящим: «Многие живут только прошлым или будущим (как мы теперь), но надо всегда жить в „момент“ – пока живешь, где бы ни очутился, и собою наполнять обстановку…» Анна не теряла веры в будущее до конца своих дней. Она научилась жить без страха и признавалась Борису, что все ее страхи умерли в Наугольном доме на Воздвиженке в 1918 году, когда чекисты увели «Папу».
Лето 1930 года застало Анну и Ксению Сабуровых в Калуге. Анне предложили работу учительницы пения в музыкальной школе при условии, что она перестанет ходить в церковь и примет участие в организации школьной антирелигиозной пропаганды. Она отказалась. Анна немного зарабатывала частными уроками английского. Ксения работала уличным продавцом газет, подрабатывала в библиотеке техникума.
Много лет Ксения скрывала от родных свою тайну, которая стала известна только в 1931 году. После переезда в Калугу, последовавшего за «делом фокстротистов», Ксения познакомилась с англичанином Джорджем Дэниэлем Пейджем, работавшим учителем английского языка. Он был существенно старше Ксении, даже старше ее матери. Тем не менее Ксения, которой тогда было двадцать четыре, с ним обручилась с условием держать помолвку в секрете в течение шести лет – до свадьбы, которая должна была состояться в 1931 году. Брак, однако, оказался недолгим, он продолжался всего месяц и пять дней. Вскоре после свадьбы Пейдж стал готовиться к возвращению в Англию, возможно под давлением ОГПУ. Он хотел, чтобы Ксения уехала с ним, но она отказалась; она не могла себе представить, что бросит мать одну, когда Борис и Юрий в ссылке. 2 января 1932 года Пейдж уехал. Ксения никогда больше не видела мужа, хотя они много лет продолжали переписываться.
В 1932-м, отбыв три года ссылки, Борис и Юрий вернулись домой. Анна поехала встречать Бориса. Он был слаб, измучен и оборван, на ногах у него болтались ветхие галоши, набитые соломой и подвязанные веревочками. Соединившись, Сабуровы поселились во Владимире. Татьяна Аксакова-Сиверс, побывавшая у них, не могла не заметить, как трудно они живут. У всех были сложности с работой, жили впроголодь, зависели от помощи Павла Шереметева, регулярно присылавшего продукты и деньги. Все четверо выглядели бледными и слабыми, зато наконец они были вместе.