Осенью 1936 г. Ежов должен был сначала закончить те дела, которые оставил недоделанными Ягода. Надо было подготовить два показательных процесса, чтобы избавить государство сначала от левых, а потом от правых, скомпрометированных показаниями Зиновьева и Каменева. Чтобы НКВД работал соответственно с планами Ежова, его надо было очистить. Сами палачи стояли в первых рядах тех, кого казнят. Раньше каждый новый вождь тайной полиции осторожно садился в свое кресло, никого не сменяя, тем более не истребляя. Даже когда Ягода занял место Менжинского и поссорился с теми, кому не нравилась его унтер-пришибеевская грубость, ОГПУ – НКВД оставался цельной, сплоченной организацией. Чтобы снять группу нерусских чекистов – Станислава Мессинга, Меера Трилиссера, – которых Сталин или недолюбливал, или намечал на другую работу, Сталину пришлось вмешаться лично (17). Очень немногие, например Яков Агранов и Ефим Евдокимов, принципиально возражали против стиля правления Ягоды: они не любили сфабрикованных дел начала 1930-х гг. не потому, что любили правду и ненавидели ложь, а потому, что требовали более убедительных методов фальсификации.
Ежов опустошил НКВД, как вскоре опустошит партию, армию, интеллигенцию и советские города. Сначала он снял с постов самых выдающихся чекистов, не всегда сразу расстреливая их, но иногда на время отправляя их в глушь. Как только Ежов занял свое место, видный чекист секретно-политического отдела И. В. Штейн покончил с собой. Сразу после ареста Ягоды схватили Глеба Бокия, который так жестоко терроризировал Петроград и Туркестан. Георгий Молчанов, которого Ягода назначил главой секретно-политического отдела ОГПУ, был арестован за месяц до ареста Ягоды: он был расстрелян «в особом порядке», то есть без формального допроса, без суда и без приговора, после того как его избили коллеги Николай Николаев-Журид, латыш Анс Залпетер и вологодский палач Сергей Жупахин (все трое сами будут расстреляны через год). Красавца Молчанова пытали так мучительно, что, надо полагать, смерть стала для него избавлением. Всеволод Балицкий, которого Сталин одно время считал возможным наследником Ягоды, был расстрелян как польский шпион.
Ни тонкий ум, ни соседство со Сталиным по даче в Зубалове, ни добровольная помощь в свержении Ягоды не спасли Якова Агранова. Зря он помогал Ежову в течение первых месяцев работы и репетировал с Радеком и Пятаковым показания на предстоящем суде: его три раза переводили с одного поста на другой и наконец, в июле 1937 г., арестовали. Ефим Евдокимов, который по инициативе Сталина допрашивал Ягоду, тоже получил неожиданную награду: в мае 1938 г. его перевели в Наркомат водного транспорта, который уже приобретал репу тацию смертной камеры чекистов. В конце концов Лаврентий Берия истребит Ефима Евдокимова вместе со всеми чекистами, которые благодаря Берия начали свою карьеру на Северном Кавказе. Матвей Погребинский, начальник Управления НКВД по Горьковскому краю (Нижний Новгород), застрелился, когда узнал об аресте Ягоды; через несколько дней заместитель главы контрразведки у Ягоды, И. И. Черток, выбросился из окна и разбился насмерть. Даже один из любимцев Ежова, комиссар государственной безопасности третьего ранга Владимир Курский, который получил пост Георгия Молчанова, покончил с собой в июле 1937 г.: он впал в отчаяние, когда получил приказ допросить и убить Зинаиду Гликину, брошенную любовницу
Ежова. Последний аристократ в НКВД, барон Пиллар фон Пильхау, был арестован как польский шпион. Из ста десяти высокопоставленных чекистов, подчиненных Ягоде, Ежов арестовал девяносто, расстреляв большую часть. Еще 2273 чекиста были арестованы и, по расчету Ежова, 11 тыс. были уволены.
Чистка НКВД прежде всего убрала нерусских. Евреи и те, у кого были связи с Германией и с лимитрофными государствами (Польшей, Румынией, Балтийскими странами), от которых коммунисты не могли ждать защиты или заступничества, были обречены. НКВД дорого поплатился за былой космополитизм. В бытность Ягоды руководителем были расстреляны всего два видных чекиста – Яков Блюмкин и его друг Рабинович, но многие нерусские чекисты задумывались над будущим и уходили в другие сферы. Уходили напрасно – везде, в экономической или культурной сфере, отыскивали знаменитых латышей, таких как Петерс, и поляков – Мессинга и Уншлихта (18), и они погружались вслед за бывшими коллегами в забвение.