Кеннан провел в Принстоне полтора года, пока весной 1952 года с большой неохотой не уступил давлению Трумэна и Ачесона и не занял должность посла США в Москве. Через полгода он написал Роберту, что его работа в Москве, возможно, скоро закончится. Так оно и вышло: всего десятью днями позже его отозвали после того, как он заявил журналисту, что жизнь в советской России напоминает ему время, проведенное в фашистской Германии. Советские власти тут же объявили его персоной нон грата. А после победы Эйзенхауэра на президентских выборах быстро выяснилось, что республиканцам, получившим власть под девизом стратегии «выдавливания», автор доктрины сдерживания больше не нужен. В марте 1953 года Кеннан написал Оппенгеймеру о своей встрече с госсекретарем Джоном Фостером Даллесом, который проинформировал его, что не видит на данный момент «ниши» для Кеннана в госаппарате, так как он был запятнан «сдерживанием». Кеннан вышел в отставку и немедленно вернулся в Принстон, «кессонную камеру» Оппи для интеллектуалов. За исключением несколько более продолжительного периода службы послом в Югославии в начале 1960-х годов, почти всю свою оставшуюся жизнь Кеннан провел в стенах института. Он был соседом и преданным другом Оппенгеймера, считавшим, что Роберт создал «обстановку, в которой работа ума могла происходить в своей высшей форме – элегантно, щедро, с исключительной добросовестностью и ответственностью».
Водородная бомба была не единственным фактором, вызывавшим у Оппенгеймера протест против накопления вооружений в период холодной войны. Он отчаялся добиться прогресса в деле ядерного разоружения еще в 1949 году, хотя по-прежнему считал, что идея глобальной открытости Бора давала человечеству единственный шанс на спасение в ядерном веке. События после начала холодной войны показали, что переговоры в ООН о контроле над ядерным оружием зашли в тупик. Взамен Оппенгеймер попытался воспользоваться своим влиянием и остудить растущие надежды правительства и общества на ядерную энергию, как средство для решения всех проблем. Летом пресса процитировала его высказывание: «Ядерная энергия для авиации и боевого флота – совершенная чепуха». На заседаниях консультативного комитета КАЭ по общим вопросам он и другие ученые раскритиковали проект ВВС «Лексингтон», программу создания бомбардировщика с ядерной силовой установкой. Оппенгеймер также указывал на потенциальную опасность, исходящую от гражданских ядерных электростанций. Подобные заявления не способствовали его популярности у оборонного истеблишмента и воротил энергетической отрасли, выступавших за развитие ядерных технологий.
Стычки с военными бонзами по вопросам планирования производства ядерного оружия оставили неприятный осадок у всех членов консультативного комитета КАЭ. «Я знаю, – вспоминал Ли Дюбридж, – как часто обсуждались цели на территории Советского Союза и количество бомб, которое понадобится для уничтожения крупных промышленных центров. <…> В то время мы считали, что пятидесяти бомб хватит, чтобы стереть с лица земли все важные объекты СССР». Дюбридж всегда считал эту оценку довольно точной. Однако со временем представители Пентагона находили для увеличения количества бомб все новые поводы. Дюбридж вспоминал: «У нас иногда вызывало улыбку, что они, похоже, были не в состоянии найти достаточно целей для того количества бомб, которое собирались выпустить через год или два. Военные подгоняли число целей под планы производства».
Выступления Оппенгеймера на заседаниях комитета, как правило, отличались безупречной объективностью. Он редко выказывал эмоции. Исключение составляет один случай, когда вице-адмирал Хайман Риковер ознакомил комитет с планами ВМС по ускоренной разработке атомных подводных лодок. Риковер пожаловался, что КАЭ затягивает работу над ядерным реактором. Он бросил вызов Оппенгеймеру, спросив, откладывал ли тот создание атомной бомбы до момента, когда прояснятся все факты. Роберт наградил адмирала своим фирменным ледяным взглядом и ответил «да». Хотя Риковер вел себя крайне вызывающе, Оппенгеймер удержал себя в руках. И только после его ухода подошел к столу, на котором адмирал оставил маленькую деревянную модель подводной лодки, спокойно раздавил ее в кулаке и вышел вон.
Круг политических врагов Оппенгеймера постоянно ширился. Его старый друг Гарольд Чернис еще за много лет до этого говорил, что Оппи иногда отпускал «очень жестокие» замечания. Роберт вел себя мягко и тактично с подчиненными, однако с коллегами нередко бывал очень резок.