Результаты прослушивания регулярно докладывались Сталину в виде спецсообщений контрразведки. Из них Сталин сделал вывод о том, что Германия вынашивает планы нападения на нашу страну и только ждет подходящего предлога. Цель нападения – захват природных богатств СССР и полное уничтожение социалистического государства. 31 мая 1941 года Федотов доложил Сталину содержание беседы военного атташе Германии Кестринга со словацким посланником. Сталин обратил внимание на следующие высказывания нациста: «Здесь нужно осуществить какую-нибудь провокацию. Нужно сделать так, чтобы здесь был убит какой-нибудь немец, и тем самым вызвать войну». Поскольку Сталин знал лучше, чем кто-либо, что наша страна пока не готова к войне с Германией, он требовал от руководства Красной Армии не поддаваться на провокации германской военщины, чтобы не дать Гитлеру ни малейшего повода к агрессии. Сам он намеревался дипломатическими мерами оттянуть сроки войны на 1942 год, когда, по его мнению, СССР будет готов к большой войне, и одновременно предпринимал меры по укреплению обороноспособности страны.
Германское и японское посольства не были единственными объектами разработки советских чекистов. Весьма активно и результативно 2 управление НКГБ, руководимое Федотовым, работало по дипломатическим представительствам Англии, Финляндии, Турции, Ирана, Словакии и других стран. Нараставший поток информации свидетельствовал об одном: война с Германией стучится в дверь. И она не заставила себя долго ждать. В связи с вероломным нападением гитлеровской Германии на Советский Союз изменились задачи советской контрразведки. Федотов по-прежнему руководил 2 управлением, но теперь уже не НКГБ, а НКВД, поскольку в июле 1941 года произошло их слияние. На его управление были возложены задачи борьбы с германскими спецслужбами и их агентурой на территории СССР, разработка и ликвидация агентуры противника, оперативная работа в лагерях для военнопленных, учет и оперативный розыск агентуры противника, предателей и пособников нацистов, охрана дипломатического корпуса, а позднее, когда Красная Армия перешла в наступление, – обеспечение очистки освобожденных районов от оставленной там агентуры противника и организация в них оперативной работы.
В конце 1941 года, когда германская армия стояла у стен Москвы, начались горячие дни для подчиненных Петра Федотова и начальника диверсионного управления НКВД Павла Судоплатова. На случай захвата Москвы немцами их усилиями было создано мощное боевое подполье, укомплектованное чекистами, агентурой, а также добровольцами. На нелегальное положение были переведены 243 человека, из которых чекистами были сформированы 36 групп. 78 человек были подготовлены для осуществления разведывательных и диверсионно-террористических заданий. В столице и Подмосковье были подобраны явочные квартиры, заложены склады с оружием, боеприпасами, взрывчатыми и зажигательными веществами, горючим, продовольствием, а также явочные пункты под видом мелких мастерских, парикмахерских и т. п. Все группы были снабжены специальными радиостанциями. Здания и объекты, которые могли использоваться гитлеровцами в военных целях, тщательно изучались участниками оперативных групп для возможного проведения диверсий. Возглавлять это чекистское подполье поручалось Петру Федотову, который с этой целью должен был перейти на нелегальное положение. К счастью, Москву удалось отстоять, и Федотову не пришлось руководить взрывами и диверсиями в столице.
В начале 1943 года Наркомат внутренних дел подвергся очередной реорганизации. Из него вновь выделили НКГБ, в котором Федотов по-прежнему возглавлял контрразведывательное управление. К прежним задачам главка добавились такие как: оперативное обслуживание объектов военной промышленности, борьба с антисоветскими элементами внутри страны и националистическими вооруженными формированиями украинских националистов и «лесных братьев» в Прибалтике. Возглавляемый Федотовым 2‑й главк в годы войны занимался также контрразведывательным обеспечением Тегеранской (ноябрь – декабрь 1943 года), Ялтинской (февраль 1945 года) и Потсдамской (июль – август 1945 года) конференций «Большой тройки».
После окончания Великой Отечественной войны на Лубянке произошла смена руководящих кадров. Лаврентий Берия был «брошен» Сталиным на решение «атомной проблемы», а также на ракетостроение. Его заместитель Всеволод Меркулов, казавшийся Сталину слишком мягким («подумать только: пишет пьесы, вместо того, чтобы ловить шпионов!»), был переведен на другую работу. Во главе ведомства стал руководитель военной контрразведки «Смерш» Виктор Абакумов. В июне 1946 года начальника внешней разведки П. М. Фитина также перевели на другую работу, а его пост занял П. Н. Кубаткин, который руководил разведкой всего три месяца.