Репрессии, охватившие страну в конце 1930-х годов, нанесли огромный ущерб и советской внешней разведке. Они серьезно подорвали ее успешную работу в предшествующие годы. К 1938 году были ликвидированы почти все нелегальные резидентуры, оказались утраченными связи с ценнейшими источниками информации. Некоторые из них были потеряны навсегда. Порой в «легальных» резидентурах оставалось всего один-два работника, как правило молодых и неопытных. Аресты создавали в коллективах обстановку растерянности, подозрительности и недоверия.
За годы «ежовщины» были арестованы практически все бывшие и действующие руководители ИНО и многие ведущие разведчики.
Так, 13 мая 1937 года был арестован выдающийся организатор контрразведки и разведки Артур Артузов. 15 июня
1937 года — Станислав Мессинг, работавший тогда уже в Наркомате внешней торговли. 21 ноября 1937 года — первый начальник советской внешней разведки Яков Давтян (Давыдов). 23 ноября 1938 года — Меер Трилиссер, являвшийся к тому времени ответственным сотрудником Исполкома Коминтерна.
Возглавивший разведку после Артузова комиссар госбезопасности 2-го ранга Абрам Слуцкий 17 февраля
1938 года скоропостижно скончался в кабинете первого заместителя наркома внутренних дел СССР Михаила Фриновского. А уже в апреле того же года его посмертно исключили из партии как «врага народа».
После смерти Слуцкого исполняющим обязанности начальника внешней разведки был назначен майор госбезопасности Сергей Шпигельглаз. Но и он продержался в этой должности менее четырех месяцев. 9 июня 1938 года его сменил старший майор госбезопасности Зельман Пассов. А судьба Шпигельглаза была решена: 2 ноября 1938 года он был арестован, а 12 февраля 1940 года — расстрелян. Пассова эта же участь постигла спустя три дня —15 февраля.
В это же время было подвергнуто репрессиям и большое число ведущих разведчиков. Среди них: резиденты в Лондоне Адольф Чапский, Григорий Графпен и Теодор Малли; в Париже — Станислав Глинский и Георгий Косенко; в Риме — Моисей Аксельрод, в Берлине — Борис Гордон, в Нью-Йорке — Петр Гутцайт, выдающиеся разведчики-нелегалы Дмитрий Быстролетов, Борис Базаров, Григорий Сыроежкин и многие другие.
Были арестованы и брошены в тюрьмы Ян Буйкис, Игорь Лебединский, Яков Серебрянский, Иван Каминский, Петр Зубов и десятки других разведчиков. Некоторым из них все же удалось выйти из заключения и успешно работать в годы Великой Отечественной войны.
Со многими из этих людей Наум Эйтингон работал либо в боевых условиях за границей, либо в центральном аппарате внешней разведки.
Вскоре после февральско-мартовского 1937 года пленума ЦК ВКП(б), принявшего решение о развертывании масштабных чисток, были арестованы почти все начальники управлений и отделов НКВД и их заместители. Волна репрессий коснулась не только ветеранов ВЧК, но и выдвиженцев Ягоды, лиц, которые слишком много знали об истинной подоплеке московских процессов, о том, какими методами НКВД добивался признательных показаний от лидеров антисталинской оппозиции.
В декабре 1937 года большая группа работников НКВД была отмечена правительственными наградами в связи с 20-летием органов ВЧК — ОГПУ — НКВД. Выступая перед награжденными, Николай Ежов заявил: «Мы должны сейчас так воспитать чекистов, чтобы это была тесно спаянная и замкнутая секта, безоговорочно выполняющая мои указания». На смену старым чекистам были выдвинуты молодые кадры, не имевшие опыта работы, от которых требовалось безоговорочное выполнение указаний наркома.
Уже в первые месяцы «великой чистки» аппарат НКВД на местах был значительно расширен. Одновременно Сталин, лично курировавший органы госбезопасности, позаботился о том, чтобы значительно улучшить материальное положение чекистов. Следует, однако, отметить, что среди новобранцев НКВД «сталинской волны» было немало людей, которых буквально ошеломила обстановка беззакония и произвола, царившая в органах госбезопасности. Некоторые из них даже сходили с ума или кончали жизнь самоубийством.
Осенью 1938 года Сталину стало ясно, насколько массовые чистки ослабили советские органы безопасности. К тому же в ЦК ВКП(б) поступали многочисленные письма от партийных руководителей на местах и простых граждан, в которых обращалось внимание на беззаконие и произвол, творившиеся «ежовцами». Ежов выполнил свою миссию, и Сталин решил им пожертвовать, возложив на него ответственность за разгул террора в стране.
Постановлением ЦК ВКП(б) от 17 ноября 1938 года органам НКВД и прокуратуре запрещалось проводить какие-либо массовые аресты и выселения, а сами аресты предписывалось осуществлять в соответствии с Конституцией страны только по постановлению суда или с санкции прокурора. В центре и на местах ликвидировались судебные «тройки». В то же время в документе подчеркивалось, что «очистка СССР от многочисленных шпионских, террористических, диверсионных и вредительских кадров должна продолжаться, но с использованием более совершенных и надежных методов».