Слушание произвело на Фрэнка и Джеки впечатление сюрреалистического спектакля. Джеки пылала праведным гневом. Сидя в приемной комиссии палаты представителей в ожидании своей очереди давать показания, она посмотрела в окно и поразилась контрасту между мраморными зданиями на Капитолийском холме, окруженными ухоженными лужайками, и рядами ветхих лачуг, в которых обитало негритянское население. Рядом играли босые, оборванные дети. «Все они страдали от рахита и недоедания. Игрушками им служила всякая дрянь, подобранная на улице. Я сидела, читала, прислушивалась и смотрела в окно, то задаваясь вопросом, что со мной сделает комиссия, то все больше кипя от гнева, что какой-то тип смеет подозревать
Позже Фрэнк заявил репортерам, что вступил в партию в 1937 году «в поисках решения проблем безработицы и нужды в самой богатой и производительной стране мира».
Оба, растеряв иллюзии, покинули партийные ряды в 1940 году. Фрэнк заявил, что ничего не знал о шпионаже в Лос-Аламосе или радиационной лаборатории Беркли: «Я не слышал ни о какой коммунистической деятельности, меня никто не просил передавать информацию, и я никому ее не передавал. Я трудился с полной отдачей сил и считаю, что внес ценный вклад». Не прошло и часа, как репортеры сообщили Фрэнку, что Университет Миннесоты принял решение о его увольнении с должности доцента кафедры физики. Два года назад он сказал неправду, и этого в глазах университетского руководства было достаточно, чтобы отстранить его от преподавательской работы. Фрэнк всего три месяца недотянул до пожизненного контракта. После встречи с ректором университета, однако, стало ясно, что надеяться не на что. Он покинул кабинет ректора в слезах.
Фрэнк был убит горем. Всю тяжесть случившегося он осознал, лишь попытавшись вернуться в Беркли. Фрэнк наивно полагал, что Лоуренс примет его под свое крыло, однако Эрнест ответил отказом.
Годом раньше Фрэнк и Джеки купили высоко в горах Колорадо близ Пагоса-Спрингс скотоводческое ранчо с участком площадью 800 акров. Они планировали использовать его как летнюю резиденцию. Осенью 1949 года неожиданно для многих друзей пара уехала туда в добровольную, по-спартански суровую ссылку. «Мне никто не предложил работу, – написал Фрэнк Бернарду Питерсу, – поэтому мы определенно проведем здесь всю зиму. Господи, как здесь красиво! Только тот, кто здесь побывал, поймет наше решение остаться». Ранчо располагалось на высоте 2500 метров, зимой в этом краю стоял невыносимый холод. «Джеки сидела в хижине с биноклем, – вспоминал Филип Моррисон, – и наблюдала за телящимися на снегу коровами. Приходилось выбегать и спасать новорожденных телят от замерзания».
Следующие десять лет милый и умный брат Роберта Оппенгеймера пробивался скотоводством. От ближайшего городка его отделяли двадцать миль. Агенты ФБР, словно в напоминание о себе, регулярно приезжали и опрашивали соседей. Иногда они заглядывали на ранчо и предлагали Фрэнку рассказать о других членах КП. Однажды агент спросил его: «Хотите вернуть себе работу в университете? Если хотите, сотрудничайте с нами». Фрэнк неизменно отвечал отказом. В 1950 году он написал: «Наконец-то по прошествии многих лет я понял: ФБР не пытается расследовать мое дело, оно пытается отравить среду, в которой я живу, покарать меня за левые убеждения, настраивая против меня друзей, соседей, коллег и вызывая у них подозрения ко мне».