Оппенгеймер приступил к набору в Лос-Аламос физиков, однако быстро выяснилось, что его коллеги наотрез отказываются «ходить строем». К февралю 1943 года старый друг Оппи Исидор Раби и другие физики убедили его в необходимости «демилитаризации» лаборатории. Раби был одним из немногих друзей, кому Оппенгеймер позволял указывать на свои заблуждения. «Он говорил, что раз мы на войне, то не грех надеть форму, она сблизит нас с американским народом, и прочую чепуху. Я понимаю, что ему очень хотелось победить в войне, но бомбу таким образом не сделаешь. Он был очень грамотен и в то же время очень глуп».
В конце месяца Гровс согласился пойти на компромисс: во время опытов в лаборатории ученым позволят носить гражданскую одежду, но, когда дело дойдет до испытаний оружия, все переоденутся в военную форму. Лос-Аламос будет обнесен забором и объявлен военной базой, однако внутри «технической зоны» лаборатории ученые будут подчиняться Оппенгеймеру как «директору по науке». Военные будут контролировать доступ на базу, но не будут мешать обмену информацией между учеными — такой обмен будет входить в компетенцию Оппенгеймера. Ханс Бете поздравил Оппи с успешным завершением переговоров с армейцами, написав: «Я считаю, что вы заслужили научную степень в области дипломатии».
Раби сыграл важную роль в этом и других организационных вопросах. «Без Раби все пошло бы кувырком, — потом говорил Бете, — потому что Оппи не принимал никакой организованности. Раби и [Ли] Дюбридж [в то время руководитель лаборатории радиации МТИ] пришли к Оппи и сказали: “Тебе нужна четкая организация. Лаборатория должна состоять из отделов, отделы — из групп. Иначе из этой затеи ничего не выйдет”. А Оппи… ну, для него все это было в новинку. Раби заставил Оппи действовать практичнее. И отговорил от ношения формы».
Большое огорчение Оппенгеймеру доставил отказ Раби от переезда в Лос-Аламос. Оппи так сильно хотел перетянуть друга к себе, что предложил ему должность заместителя заведующего лабораторией, но ничего не помогало. Раби считал неприемлемой саму идею создания бомбы. «Я решительно выступал против бомбежек еще с 1931 года, когда увидел фотографии японских бомбардировщиков над Шанхаем. Бомбы падают и на правых, и на неправых. От них никто не может укрыться. Ни осторожный, ни честный. <…> Во время войны с Германией мы [в лаборатории радиации], разумеется, помогали создавать устройства для бомбометания… но то был реальный противник и серьезный вопрос. Атомная же бомбардировка отошла от этого принципа еще дальше, мне это не нравилось тогда и не нравится сейчас. Я считаю, что это чудовищно». Раби полагал, что войну удастся выиграть с помощью менее экзотической технологии — радиолокации. «Я обдумал предложение, — вспоминал Раби, — и отказался. А ему сказал: “Я отношусь к войне серьезно. Мы можем проиграть ее из-за некачественных радиолокаторов”».
Раби также приводил Оппенгеймеру менее практичную, но более глубокую причину отказа: он не хотел, чтобы оружие массового поражения стало «кульминацией трех веков физических исследований». Раби хорошо понимал, что столь безапелляционное утверждение неизбежно найдет отклик в душе человека, склонного к философии. Однако в то время, как Раби размышлял о моральных последствиях создания бомбы, Оппенгеймер в разгар войны отодвинул метафизику в сторону и отмахнулся от возражений друга. «Даже если согласиться с тобой, что проект стал “кульминацией трех веков физических исследований”, — писал он Раби, — я занимаю другую позицию. Для меня это всего лишь вопрос разработки важного боевого оружия в военное время. Я считаю, что нацисты не оставляют нам выбора, разрабатывать его или нет». Оппенгеймера волновал только один момент — успеть создать оружие до того, как это сделают нацисты.
Несмотря на отказ Раби от переезда в Лос-Аламос, Оппенгеймер сумел убедить его приехать на первый коллоквиум и выполнять роль одного из немногих внештатных консультантов проекта. Раби, по словам Ханса Бете, стал для Оппи «отцом-наставником». «Я никогда не состоял в штате Лос-Аламоса, — говорил Раби. — И потому отказался. Не хотел засорять каналы общения. Я не входил ни в один из их важных комитетов, просто был личным советником Оппенгеймера».
С другой стороны, Раби помог уговорить переехать в Лос-Аламос Ханса Бете и многих других ученых. Он также убедил Оппенгеймера назначить Бете начальником теоретического отдела, который считал «нервным центром проекта». Оппенгеймер доверял суждениям Раби по всем вопросам и незамедлительно исполнял его предложения.