Последствия этих побегов и предательств были ужасными. И Москва была вынуждена жестко реагировать, дабы обезопасить себя. В это время были арестованы бывшие начальники ИНО Трилиссер, Мессинг и Артузов (Фраучи). 17 февраля 1938 года скоропостижно скончался Абрам Слуцкий (существует версия его отравления), в октябре — ноябре 1938 года по обвинению в госизмене арестованы Пассов и Шпигельглас. В это же время из-за кордона для проверки с последующим арестом отзывают большинство сотрудников резидентур. Среди них резидент ИНО в Лондоне Адольф Сигизмундович Чапский (настоящее имя — Авраам Абба Давидович или Антон Вацлавович Шустер), сменивший его Григорий Борисович Графпен, руководитель лондонской нелегальной резидентуры Теодор Степанович Малли, резиденты в Париже Станислав Мартынович Глинский и Георгий Николаевич Косенко, руководитель нелегальной резидентуры в Риме Моисей Маркович Аксельрод, резидент в Берлине Борис Моисеевич Гордон, руководитель нелегальной резидентуры в Германии Файвель Калманович Парпаров, резидент в Вашингтоне Пётр Давидович Гутцайт, руководитель спецгруппы особого назначения (СГОН) при НКВД СССР Яков Исаакович Серебрянский, его помощник Альберт Иохимович Сыркин-Бернарди и многие другие. Всего в 1937–1938 годах из 450 сотрудников ИНО (включая загранаппарат) было арестовано 275 человек. Но на смену им пришли прекрасно подготовленные в школах НКВД новые кадры, а многие из тех, кто не запятнал себя изменой и был нужен стране, были возвращены в органы, например Парпаров и Серебрянский.
26 февраля 1941 года 5-й отдел (фактически ИНО) ГУГБ НКВД СССР был преобразован в 1-е Управление НКГБ СССР (с 31 июля 1941 года НКВД СССР). Заместителями Павла Михайловича Фитина стали Павел Анатольевич Судоплатов, Василий Михайлович Зарубин, Виктор Александрович Лягин (начальник научно-технической разведки, однокашник Фитина по школе НКВД, которую они окончили в августе 1938 года). Начальником 1-го (немецкого) отдела назначается Александр Михайлович Коротков, 5-го (англо-американского) — Иван Андреевич Чичаев. Нетрудно заметить, что имена зазвучали по-новому — причем дело не столько в национальности, сколько в принципиально новом подходе к формированию руководящих кадров госбезопасности. Речь идет о создании первой национальной разведывательной службы, которая будет ориентироваться на руководство страны, а не на Коминтерн. Фитин вообще стал первым русским на посту начальника внешней разведки — это просто медицинский факт.
Более того, реформированию подверглись все структуры госбезопасности. Начальником контрразведки Берия назначает уроженца Санкт-Петербурга Петра Васильевича Федотова. С 1 ноября 1938 года Федотов — заместитель начальника 2-го (секретно-политического) отдела ГУГБ НКВД СССР. Именно он вызвал из Свердловска и принял на работу в качестве особо засекреченного спецагента Николая Кузнецова. 4 сентября 1939 года Федотов становится начальником 2-го, а 29 сентября 1940 года по совместительству и 3-го (контрразведывательного) отделов ГУГБ НКВД СССР. Он поручает Николаю Кузнецову под видом этнического немца Рудольфа Шмидта вербовку немецких и словацких дипломатов, владеющих информацией о подготовке Германии к войне. На основании этой информации начальник 1-го (немецкого) отделения 3-го отдела Василий Степанович Рясной проводит спецоперации по проникновению в посольства и атташаты Германии и Словакии, вскрытию сейфов, фотографированию находящихся в них документов и установке подслушивающих устройств (это был первый опыт такого рода в СССР).
Кроме того, следует отметить, что именно Берия заметил и выдвинул на руководящую должность будущего легендарного начальника Главного Управления контрразведки Смерш, коренного москвича Виктора Семёновича Абакумова. 5 декабря 1938 года Абакумов был назначен начальником Управления НКВД по Ростовской области, а 25 февраля 1941 года — заместителем наркома внутренних дел. Ему было 32 года.
Именно при Берии сделал головокружительную карьеру выходец из саратовской глубинки Евгений Петрович Питовранов, который в октябре 1938 года пришел в НКВД с четвертого курса Московского электромеханического института инженеров железнодорожного транспорта, начал службу оперуполномоченным 3-го отдела ГУГБ НКВД СССР, 31 мая 1940 года был назначен заместителем, а 26 февраля 1941 года — начальником Управления НКВД по Горьковской области. В 1946 году в возрасте 31 года он возглавил 2-е Главное Управление МГБ СССР, то есть всю советскую контрразведку. А Иван Александрович Серов? В феврале 1939 года он только пришел в НКВД и сразу же стал начальником всей милиции, с 29 июля 1939 года начальником 2-го (секретно-политического) отдела — заместителем начальника ГУГБ НКВД СССР, а впоследствии — первым председателем КГБ СССР и начальником ГРУ. Большинство атомных разведчиков пришли в органы в 1938–1940 годах — это и Леонид Романович Квасников, и Александр Семёнович Феклисов, и Анатолий Антонович Яцков, и Владимир Борисович Барковский, и будущий оперативный директор внешней разведки Борис Семёнович Иванов.