Должность директора по науке давала Оппенгеймеру практически безраздельную власть в стенах Лос-Аламоса. Хотя он якобы делил полномочия с начальником военного гарнизона, подчинялся только генералу Гровсу. Первый начальник гарнизона, подполковник Джон М. Хармон, часто вступал в ссоры с учеными и в апреле 1943 года был смещен с должности, прослужив на ней всего четыре месяца. Его сменщик, подполковник Уитни Эшбридж, смекнул, что главная задача — сократить трения до минимума и не злить ученых. По иронии судьбы Эшбридж был выпускником школы-ранчо для мальчиков Лос-Аламос, он прослужил на своем посту до осени 1944 года, когда переутомление и тяжелая работа вызвали у него легкий сердечный приступ. Его сменил полковник Джеральд Р. Тайлер. Таким образом Оппенгеймер пересидел трех полковников.
Секретность постоянно доставляла головную боль. В один прекрасный день служба безопасности выставила пост военной полиции прямо перед домом Оппенгеймеров на Ванной улице. Полицейские проверяли пропуска на входе в дом у всех, в том числе у Китти. Супруга Оппенгеймера нередко забывала пропуск перед уходом и устраивала сцены, когда ее не пускали в собственный дом. Правда, в целом она не жаловалась на присутствие военных, потому что не упускала возможности использовать их в качестве нянек Питера. Когда сержант, командовавший полицейскими, сообразил, что происходит, он перевел пост в другое место.
На основании договоренности с генералом Гровсом Оппенгеймер имел право сформировать комитет по вопросам внутренней безопасности в составе трех человек. Он назначил членами комитета своих помощников Дэвида Хокинса и Джона Мэнли, а также химика Джо Кеннеди. Члены комитета отвечали за соблюдение мер безопасности внутри лаборатории («зоне Т»), которая была отгорожена от остальной территории еще одним забором из колючей проволоки и куда военная полиция и солдаты не имели разрешения входить. Комитет внутренней безопасности занимался такими прозаическими вещами, как проверка, запирают ли сотрудники свои шкафы для бумаг перед уходом из кабинета. Если кого-то ловили на том, что он до утра оставлял на столе секретный документ, провинившийся дежурил в лаборатории следующую ночь, стараясь сам кого-нибудь застукать. Однажды Сербер наблюдал спор между Хокинсом и Эмилио Сегре. «Эмилио, ты не убрал прошлым вечером секретный документ, — говорил Хокинс, — так что выходишь сегодня вечером дежурить». «В этом документе полно ошибок, — огрызнулся Сегре. — Он бы только ввел противника в заблуждение».
Оппенгеймер вел постоянную борьбу с аппаратом безопасности Лос-Аламоса, защищая от него своих коллег. У него с Сербером было много разговоров о «спасении» различных сотрудников от увольнения. «Будь их воля, — говорил Сербер об отделе безопасности, — у нас бы не осталось ни одного человека». И действительно: в октябре 1943 года дознаватели отдела безопасности порекомендовали убрать из Лос-Аламоса самого Роберта Сербера и его жену Шарлотту. С типичным пафосом ФБР заявило, что Серберы «насквозь пропитались коммунистической идеологией, и все их знакомые являются известными радикалами».
Хотя Роберт Сербер действительно имел левые взгляды, он никогда не принимал участия в политической деятельности в такой же мере, как его жена. В 1930-х годах Шарлотта активно участвовала в таких акциях, как сбор средств для испанских республиканцев. Но, разумеется, Оппенгеймер был к этому причастен даже больше Шарлотты. Из архивных записей не ясно, кто и как отклонил предложение военных; возможно, за лояльность Серберов лично поручился Оппи. Однажды начальник отдела безопасности капитан Пир де Сильва пристал к Оппенгеймеру по поводу политического прошлого Сербера, на что Оппенгеймер пренебрежительно ответил, что это не имеет значения. «Оппенгеймер проговорился о том, что знал о прежнем участии Сербера в коммунистической деятельности, и даже сказал, что Сербер сам ему об этом сказал». Оппенгеймер объяснил, что перед переводом Сербера в Лос-Аламос он предложил бывшему ученику прекратить политическую работу любого рода. «Сербер дал слово, и, следовательно, я ему верю». Де Сильва принял это объяснение Оппенгеймера за проявление наивности, если не хуже.
Как и многие жены сотрудников лаборатории, Шарлотта Сербер работала в технической зоне. Несмотря на то что досье контрразведки на Серберов содержало справку о левых взглядах ее семьи, должность заведующей научной библиотекой, по сути, делала ее хранительницей самых важных секретов Лос-Аламоса. Оппенгеймер полностью ей доверял. Одетая в джинсы или слаксы, Шарлотта постоянно сидела в библиотеке, куда все заходили поболтать и обменяться сплетнями.