Осенью Голицыны получили предписание в течение двух недель покинуть Москву. Вся деятельность «мэра» была посвящена древней столице России, и он любил город как члена собственной семьи. Город был частью его жизни, а ссылка в таком возрасте означала, что «мэр» умрет, больше его не увидев. Все были взволнованы и измучены. За эти две недели они раздали большую часть мебели и книг, сожгли во дворе семейную переписку многих поколений: писем было гораздо больше, чем они могли взять с собой. Наконец, однажды утром на запряженные лошадьми телеги они принялись грузить свое имущество – немного мебели, несколько чемоданов, баулов и ящиков. Когда были уложены тяжелые вещи, Владимир принес семейные портреты, положил сверху и, накрыв, тщательно закрепил. Соседи молча наблюдали их отъезд. Голицыны жили в Еропкинском переулке семь лет. Здесь они справили четыре свадьбы и крестили трех новорожденных. Здесь были арестованы пять членов семьи. Когда они выезжали из Москвы, поднялся ветер и начался дождь. Владимир укрывал семейные портреты брезентом и подвязывал веревками, чтобы они остались целыми и сухими. Вечером они добрались до своего нового дома в деревне Котово по Савеловской железной дороге.
«Мэр» не поехал в Котово, он предпочел жить с семьей дочери Эли в Сергиевом Посаде. Здесь «бывшим людям» тоже приходилось несладко. В январе 1926 года Эли, ее муж Владимир и много других, включая Истоминых, Шаховских и Олсуфьевых, были объявлены лишенцами. Около трех тысяч человек, или 10 % населения городка, потеряли права, и среди них были не только дворяне, но священники, купцы, мелкие предприниматели, даже портные, слесари и другие ремесленники. Согласно официальным документам того времени, в эту группу попадали те, кто использовал наемный труд для извлечения дохода, участвовал в торговле, служил в царской полиции, а также находившиеся на иждивении лишенцев в возрасте до 18 лет.
В мае 1928 года «Комсомольская правда» и другие газеты печатали статьи, в которых утверждалось, будто Сергиев Посад сделался «столицей дворянства, черносотенцев и монахов». Пресса требовала от власти объяснений, почему большая группа «бывших» могла жить так открыто и работать во многих советских учреждениях. Владимир Трубецкой был отмечен особо. «БАРОНОВ И КНЯЗЕЙ НАДО НЕМЕДЛЕННО УВОЛИТЬ, ВЫГНАТЬ ИХ С СОВЕТСКОЙ РАБОТЫ», – кричал текст статьи, набранный заглавными буквами. «Рабочая газета» нападала на музей Свято-Сергиевского монастыря за большое число «бывших» в его штате. «Рабочая Москва» описывала сотрудников музея из «бывших» как «двуногих крыс». В том же месяце восемьдесят человек, включая четырнадцать монахов, были арестованы.
Трубецкие теперь жили на грани нищеты. С конца 1928 года хлеб выдавали по карточкам, которых лишенцу Владимиру и его семье не полагалось. Владимир потерял работу в ресторанном оркестре и кинотеатре. «Нам грозит голод, – писал «мэр», – хлеба больше нет». Они пытались разводить кроликов, но животные дохли. Немногие оставшиеся ценные вещи были отнесены в Торгсин, сеть государственных магазинов, где продукты, выдававшиеся по карточкам, можно было купить за твердую валюту или обменять на золото, серебро, драгоценные камни, антиквариат и произведения искусства.
В 1930 году Анна Голицына писала дочери: