Между тем Оппенгеймер и сам стал внимательно заботиться о соблюдении секретности. Бывший расхлябанный преподаватель теперь аккуратно прятал секретные пояснительные записки в задний карман, чтобы не потерять. Он пытался успокоить офицеров службы безопасности, тратя на них драгоценное время и выполняя буквально все их требования. Однако высокие нагрузки, ощущение постоянной слежки, страх перед неудачным исходом проекта и многое другое начинало отрицательно сказываться на его душевном состоянии. Летом 1943 года Оппенгеймер признался Роберту Бэчеру, что подумывает об увольнении по собственному желанию. Он ощущал, что расследование прошлых дел преследует его по пятам. Кроме того, он жаловался Бэчеру, что физически измотан работой. Выслушав перечисление несовершенств Оппи, Бэчер попросту сказал: «Никто другой с этим не справится».
В итоге Оппи не ушел. И все-таки в июне 1943 года он сделал нечто такое, что не могло не привлечь повышенное внимание офицеров контрразведки. Несмотря на брак с Китти, Роберт в период с 1939 по 1943 год продолжал раза два в год встречаться с Джин Тэтлок. Он потом объяснил: «Мы были очень близки раньше, и, встречаясь снова, всякий раз испытывали глубокие чувства». Одна такая встреча произошла перед празднованием Нового года в 1941-м, а иногда Джин и Оппи случайно сталкивались на вечеринках в Беркли. К тому же Оппи бывал у нее дома и в приемной детской больницы, где Джин работала психиатром. Как-то раз он зашел, чтобы встретиться с ней, в дом ее отца, расположенный за углом от его собственного дома на Игл-Хилл-драйв. В другой раз они вместе выпивали в «Верхней точке», элегантном ресторане с роскошным видом на Сан-Франциско.
Продолжалась ли любовная связь Оппенгеймера и Джин в эти годы, неизвестно. Мы лишь знаем, что он с ней виделся и что эмоциональная связь между ними не угасла. Через некоторое время после свадьбы Роберта и Китти в 1940 году Джин приехала к подруге, Эдит Арнстейн, которая тоже вышла замуж, в Сан-Франциско. Джин стояла у окна, держа на руках маленькую дочь подруги Маргарет Людмилу, как вдруг Эдит спросила, не жалеет ли она, что отказалась выйти за Оппи. Джин ответила «да» и что наверняка вступила бы в брак, «если бы не запуталась до такой степени».
Весной 1943 года Джин уже стала доктором Джин Тэтлок, женщиной, стоящей на пороге успешной медицинской карьеры. Она работала детским психиатром в больнице «Маунт-Сион», где ее пациентами были дети с отклонениями психики. Она определенно нашла карьеру, соответствующую ее темпераменту и уму.
Джин сообщила Оппи, что «очень сильно желает» встретиться с ним накануне их с Китти отъезда в Лос-Аламос. Роберт по какой-то причине отказался. Вряд ли из соображений секретности, ведь он не побоялся лично попрощаться со Стивом Нельсоном. Возможно, против встречи выступила Китти. В любом случае Роберт уехал в Лос-Аламос, так и не встретившись с Джин, и чувствовал себя виноватым. Они переписывались, однако Джин жаловалась подругам, что письма Роберта вызывали у нее недоумение. Она несколько раз страдальчески призывала его вернуться. Роберт знал, что Джин посещала сеансы психолога, его доброго друга доктора Зигфрида Бернфельда, ученика Фрейда и лидера учебной группы, в которой он сам состоял несколько лет. Бернфельд был учителем Джин. Это Роберт тоже знал, как и то, что она была «крайне несчастлива».
Поэтому, когда в июне 1943 года представилась возможность съездить в Беркли, Оппи счел необходимым позвонить Джин и пригласить ее на ужин. Во время поездки за ним следили агенты военной разведки, доложившие свои наблюдения ФБР: «14 июня 1943 года Оппенгеймер направился железнодорожным транспортом из Беркли в Сан-Франциско… где его встретила и поцеловала Джин Тэтлок». Они под руку прошли к машине Джин — зеленому двухместному «плимуту» модели 1935 года, она села за руль и привезла спутника в «Сочимилько», недорогой комплекс, состоящий из бара, кафе и танцевального зала. Они поужинали и выпили; в 22.50 Джин отвезла его к своему дому № 1405 на Монтгомери-стрит в Сан-Франциско, и они поднялись в ее квартиру на верхнем этаже. В 23.30 свет в квартире погас, и Оппенгеймер не выходил до 8.30 следующего утра, когда он и Джин Тэтлок покинули здание вместе. В донесении ФБР отмечается, что «между Оппенгеймером и Тэтлок, похоже, существуют близкие любовные отношения». После обеда агенты вновь наблюдали за Тэтлок и Оппенгеймером в офисе авиакомпании «Юнайтед эйрлайнс» в деловой части Сан-Франциско: «Тэтлок прибыла пешком, Оппенгеймер поспешил ей навстречу. Они ласково приветствовали друг друга и направились к стоящей неподалеку машине Тэтлок, после чего поехали на ужин в гриль-бар “Гриль Кита Карсона”». После ужина Тэтлок подвезла Оппенгеймера в аэропорт, где он сел на самолет до Нью-Мексико. Это была их последняя встреча. Одиннадцать лет спустя следователи задали вопрос: «Вы узнали, почему она так хотела вас видеть?», и он ответил: «Потому что она все еще любила меня».