Елена и ее брат Николай пошли в советскую школу, хотя едва могли сосредоточиться на учении от постоянного чувства голода. Кульминацией дня был обед, когда детям давали миску жидкой чечевичной похлебки. Ученики боролись за право дежурить на раздаче, чтобы получить добавки. Елена на следующий год вынуждена была уйти из школы, чтобы иметь возможность получить помощь Лиги спасения детей. Примерно в это время шеф-повар Шереметевых оставил их, чтобы готовить для Ленина и его товарищей в Кремле. Семье помогали некоторые бывшие крестьяне, привозившие еду из деревни. Но продовольствия недоставало и голод не отступал.
Шереметевы делали из старой бобровой полости галоши и продавали их. Как и многие бывшие дворяне, они за гроши продали драгоценности, антиквариат и произведения искусства. Мать Елены Лиля за мешок муки продала алмазную диадему, которую надевала на приемы в Зимнем дворце. Менять драгоценности приходилось осторожно, чтобы не стать мишенью мошенников.
К началу 1918 года жизнь стала столь тяжелой, что некоторые обитатели Наугольного дома начали подумывать об отъезде за границу. Решение давалось нелегко. Для отъезда нужны были деньги, которых к тому времени у многих не было; уехать значило навсегда распрощаться с родными и близкими; надо было иметь на примете место, где поселиться, и представление о том, как пересечь охраняемую и опасную границу; уехать означало отказаться от всех надежд на жизнь в России; для многих бегство означало измену. После бегства за границу любимого сына княгиня Мещерская написала ему: «Ты забыл о любви к Родине, ты оставил свою родную землю, теперь ты можешь забыть о матери и сестрах, которых оставил здесь».
Члены знаменитых аристократических родов со звучными фамилиями оказались перед трудным выбором. У них были лучшие шансы устроиться на новом месте, чем у рядового дворянина, благодаря хорошему образованию, знанию иностранных языков, богатству (даже если оставалось немного драгоценностей и серебра в нескольких чемоданах) и личным связям с европейскими дворянскими родами. Но отъезд был крайним средством спасения. Если бы они могли знать, что ждет их в коммунистической России, возможно, большинство избрали бы этот путь, поскольку выжили из них в России очень немногие. Показательна судьба князей Оболенских. Князь Владимир Оболенский был убит в своей усадьбе в начале 1918 года; в том же году его старший брат Александр был расстрелян в Петропавловской крепости. Князь Михаил Оболенский был насмерть забит толпой на железнодорожном вокзале в феврале 1918 года. Князь Павел Оболенский, корнет Гусарского полка, был ранен большевиками в июне 1918 года и оставлен умирать, но чудом выжил и бежал в Крым. Княгиня Елена Оболенская была убита в своей усадьбе в ноябре 1918 года, тело ее было сожжено вместе с усадебным домом. Многих Оболенских постигла та же участь, включая семерых членов семьи, сгинувших в сталинских лагерях.
Пока граф Сергей был жив, в доме были под запретом любые разговоры об отъезде, но после его смерти некоторые члены семьи уехали. Его сыновья Борис и Сергей покинули Москву в 1919 году и осели в Западной Европе. Во Франции Борис переменил множество занятий, пытаясь свести концы с концами. Его дочь Татьяна в 1929 году вышла замуж в Женеве за Теодора Карла Фаберже, внука Карла Фаберже, знаменитого основателя ювелирной фирмы. Единственная работа, которую смог найти Теодор, – ремонтировать радиоприемники. Алик Сабуров и Александр Гудович, зятья графа, намеревались некоторое время пожить в Финляндии, но получили известия, что дела там идут не лучше, чем в России. Более того, будучи офицерами, они считали своим долгом остаться.