В атмосфере страха, воцарившейся среди ученых-ядерщиков, заработала невидимая агентская сеть. Шпионы расспрашивали друзей детства и соседей, старательно выявляя очевидные факты, и по слухам пытались понять, кто кому нравится, а кто кого ненавидит и в случае чего может стать доносчиком. Дело, заведенное на Фейнмана в ФБР, с каждым днем становилось объемнее. В 1950 году его друга по Лос-Аламосу Клауса Фукса посадили за шпионаж в пользу Советского Союза. К счастью для Фейнмана, в бюро не догадывались, как часто он одалживал у друга машину. В деле отмечалось, что однажды он произнес речь в Храме Израилевом в Фар-Рокуэй, где «говорил о братстве и братских чувствах». Его характеризовали как застенчивого, замкнутого интроверта. Соседи поручились за него и выразили сомнение в том, что в старших классах он состоял в Лиге социалистической молодежи — организации, описанной ведущим агентом как «агрессивная прокоммунистическая студенческая группировка». Бете преследовал чиновник из Министерства торговли, добиваясь характеристики Фейнмана с точки зрения его преданности своей стране. В конце концов Бете коротко ответил: «Профессор Фейнман — один из ведущих мировых физиков-теоретиков. Его преданность Соединенным Штатам не подлежит сомнению. Любые дальнейшие расспросы на эту тему считаю оскорбительными для доктора Фейнмана».
ФБР обнаружило «контакт Оппенгеймера и некоего Файнмана (фонетическая транскрипция)» и сделало вывод, что «данный “Файнман” на самом деле субъект по имени Ричард Фейнман». Официальные лица обсудили возможность привлечения Фейнмана в качестве тайного информатора, который свидетельствовал бы против Оппенгеймера. Одобрение было получено, но вскоре Фейнмана поместили в список «неконтактных»: он отказался говорить с бюро о чем бы то ни было. Агенты опросили его коллег из Лос-Аламоса; те отзывались о нем как о «вундеркинде» с «превосходным характером». Однако потом выяснилось, что Фейнман рассказывал, как он «перехитрил» психиатров из военкомата, чтобы получить свидетельство о непригодности к военной службе. Один из коллег назвал его сумасбродом. Другой заметил, что интерес Фейнмана к джазовой музыке не соответствует статусу профессора физики. В то же время, по словам информаторов, Фейнман голосовал за Эйзенхауэра, определял свои политические взгляды как «независимые» и «не питал абсолютно никакого уважения к русским». Агенты ФБР прочесали даже газетные статьи, освещавшие его развод.
Помимо прочего, обнаружилась еще одна странность: «Фейнман довольно хорошо научился взламывать сувальдные замки и замки с защелкой с помощью шпилек и кусков проволоки… Он хотел разобраться в механизме работы сейфовых замков».
Информатор, сообщавший эти сведения, тут же добавлял, что «это ни в коем случае не свидетельствует о криминальных склонностях Фейнмана, а является лишь одним из проявлений блестящего математического ума, столкнувшегося с задачей, решить которую не под силу обычному человеку». Агент, читавший доклад, попытался понять позицию информатора, но взрывоопасная комбинация фраз «