Готовясь к отражению внешней агрессии, советское руководство вынуждено было принять меры против внутренних врагов, включая раскулаченных, заговорщиков, уголовников и других противников советской власти, ослаблявших страну изнутри и способных поднять восстание. На основании решения Политбюро ЦК ВКП(б) и приказа НКВД СССР № 00447 от 30 июля 1937 года началась операция по их репрессированию. Ежову предложили дать приказ органам НКВД об аресте всех немцев, работавших на оборонных заводах. Оперативными и следственными материалами подтверждалось, что абвер и гестапо в широких размерах проводят в СССР шпионскую и диверсионную работу. В феврале 1938 года в НКВД УССР была проведена инспекторская проверка, в ходе которой подвели итоги работы по разгрому шпионско-троцкистских, правых, военно-фашистских, националистических и иных антисоветских сил на Украине. Устанавливаемые в соответствии с приказом НКВД СССР № 00447 лимиты предлагалось использовать исключительно для репрессирования офицерского командного состава и добровольцев белой, петлюровской и гетманской армий; атаманов, главарей, организаторов банд, повстанческих организаций и антисоветских восстаний; лиц, связанных с зарубежными украинскими националистическими организациями при отсутствии перспективы их агентурного использования; духовенство, связанное с заграницей; сектантских руководителей и проповедников; бывших контрразведчиков, полицейских, жандармов и карателей; бывших кулаков; бывших фабрикантов и помещиков; бывших членов «Союза русского народа», «Союза Михаила Архангела» и активных черносотенцев (ЦА ФСБ России. Ф. 3. Оп. 4. Пор. 4. Л. 2—15). Позже докладывалось о ходе следствия по делу ликвидируемого левобережного центра германской национал-социалистической партии «Централь-бюро». Как было установлено следствием, «Централь-бюро» сформировало на Левобережной Украине фашистские штурмовые диверсионные и повстанческие отряды, которые через «Кригсцентрум» готовились к диверсионной работе на военный период путем разрушения железнодорожного транспорта, отравления воды в колодцах и водоемах и уничтожения конского поголовья. Но это еще не всё. Измена и предательство обнаружились в самих органах, призванных бороться с контрреволюцией. В марте 1938 года в качестве одного из главных обвиняемых на Третьем московском процессе предстал бывший нарком внутренних дел Ягода, признавший, что прикрывал заговорщиков, которые составили правотроцкистский блок, поставивший своей целью «шпионаж, вредительство, диверсии, подрыв военной мощи СССР и отрыв от него Украины, Белоруссии, Среднеазиатских республик, Грузии, Армении, Азербайджана и свержение существующего государственного строя…» То есть чуть не буквально то, что произошло 55 лет спустя. Стало ясно, что требуется широкая реформа органов госбезопасности. 17 ноября 1938 года вышло совместное постановление СНК СССР и ЦК ВКП(б) «Об арестах, прокурорском надзоре и ведении следствия», которое прекращало политику репрессий. 25 ноября 1938 года наркомом внутренних дел был назначен Лаврентий Павлович Берия, который в кратчайшие сроки провёл «чистку» в НКВД, в ходе которой были уволены 7372 сотрудника (22,9 % от общего числа), из руководящего состава — 3830 человек (62 %). В течение 1939 года были арестованы 1364 сотрудника НКВД, включая почти всё руководство республиканского и районного уровней.
Фактически Лаврентий Павлович Берия в условиях приближающейся войны совершил подлинную кадровую революцию. При этом он не просто обновил кадры — он выдвинул на руководящие посты принципиально новую когорту людей. Руководителем внешней разведки был назначен выходец из тюменской глубинки, 30-летний Павел Михайлович Фитин, человек «от сохи», которому вскоре предстояло вооружить Советский Союз атомной бомбой. Он родился в селе Ожогино Ялуторовского уезда Тобольской губернии и в 1926–1927 годах даже учился на одной улице в Тюмени вместе с будущим разведчиком Героем Советского Союза Николаем Кузнецовым, причем по одной и той же специальности: Кузнецов в Сельскохозяйственном техникуме, а Фитин — на подготовительных курсах в Сельскохозяйственную академию им. Тимирязева в Москве. Окончив ее в 1932 году, Павел Фитин вырастает до заместителя главного редактора издательства «Сельхозгиз» и затем совершает головокружительную карьеру: «В октябре 1938 года я пришел на работу в Иностранный отдел оперативным уполномоченным отделения по разработке троцкистов и «правых» за кордоном, — пишет он в своих воспоминаниях, — однако вскоре меня назначили начальником этого отделения. В январе 1939 года я стал заместителем начальника 5-го отдела, а в мае 1939 года возглавил 5-ый отдел НКВД. На посту начальника внешней разведки находился до середины 1946 года».