Однако одновременно получила развитие еще одна линия, в конечном итоге приведшая к раскрытию истоков заговора военных. В этот же день (3 апреля) был арестован Н.Г. Егоров – начальник размещавшейся в Кремле школы им. ВЦИК – «кремлевский караул», осуществлявший охрану членов правительства. Чтобы понять общую логику арестов, следует пояснить, что Марк Гай, до удаления его Ежовым из Москвы, осуществлял контроль в армии со стороны органов госбезопасности. Причем в первой половине 30-х годов Егоров подчинялся коменданту Кремля Петерсону, который, в свою очередь, был связан по должностным обязанностям с секретарем ВЦИК Енукидзе. В разное время охраной руководителей государства руководили Шанин и Паукер. Но 11-го числа под арестом оказался и бывший заместитель Ягоды Г.Е. Прокофьев.
Первые допросы Ягоды в качестве обвиняемого состоялись 2 апреля. Их провели: начальник отделения 4-го секретно-политического отдела ГУГБ капитан ГБ Коган и оперуполномоченный 4 отдела ГУГБ лейтенант Ларнер. Следствие началось с выяснения характера взаимоотношений бывшего наркома с его подчиненными Лурье, Воловичем и другими сотрудниками из «чекистского» аппарата. В числе первых вопросов, которые интересовали Когана, были контакты подчиненных Ягоды с германскими фирмами «Борзинг» и «Леапж», представители которых ранее «разрабатывались» ИНО, как германские шпионы.
В середине апреля 1937 года Ежов произвел важные рокировки в аппарате НКВД. Являвшийся заместителем наркома с 16 октября 1936 г., Михаил Фриновский 15 апреля был повышен в должности до 1-го заместителя. Одновременно его назначили начальником 1-го Главного управления госбезопасности. Занимавшего эти посты с 29 декабря 1936 г. Янкеля Агранова перевели начальником 4-го секретно-политического отдела и понизили до заместителя наркома. Спустя месяц, 17 мая Ежов направит его начальником управления НКВД по Саратовской области; однако арестуют Агранова только 20 июля 1937 года. Напомним, что Я. Агранов начинал работу в ЧК еще в начале 20-х годов. Именно он вел дело Николая Гумилева, а в 1934 году приказал арестовать Клюева и Мандельштама. Он вел «Шахтинское дело», «Дело Промпартии», дело об убийстве Кирова, «Кремлевское дело» и другие расследования, закончившиеся громкими процессами.
В тот же день 15-го заместителем наркома, и заместителем начальника ГУГБ и одновременно начальником 1-го отдела (охрана) стал комиссар госбезопасности 3-го ранга Владимир Курский. 14 июня, когда будет арестован Лев Миронов (Каган), оставаясь заместителем наркома, Курский возглавит 3-й Контрразведывательный отдел. Но не надолго, 8 июня 1937 года он застрелится в Москве.
Между тем через день после назначения Курского руководителем охраны правительства, 17-го числа был арестован занимавший этот пост с 25 декабря 1936 года комиссар ГБ 2-го ранга К. Паукер. Карл Паукер родился во Львове, находившемся тогда на территории Австро-Венгрии. Он получил домашнее образование и работал в парикмахерской отца, затем служил в Австро-Венгерской армии, где дослужился до фельдфебеля. Во время Первой мировой войны Паукер попал в русский плен, а 1920 году стал уполномоченным ИНО Управления Особого отдела ВЧК. Позже работал начальником оперативного отдела ГПУ-ОГПУ, а с приходом в НКВД Ежова, в ноябре 1936 г. он возглавил 1-е отделение ГУГБ, занимавшееся охраной членов Политбюро и правительства.
Нет, Ежов не плел паутину, вылавливая «невинные» жертвы. Фактически он шел уже по проложенному следу, возвращая действие к тому моменту, на котором в начале 1935 года Сталиным было прервано дело «Клубок». Но пока в кабинетах лубянских следователей шли «застольные беседы» офицеров ГБ со своими бывшими коллегами, вождь занимался вопросами совершенно иного характера.
23 апреля Политбюро приняло постановление о выведении из подчинения ряда крайкомов (Северо-Кавказского, Сталинградского, Саратовского, Свердловского, Ленинградского и Восточно-Сибирского) парторганизаций автономных республик – Дагестанской, Кабардино-Балкарской, Калмыцкой, Северо-Осетинской, Чечено-Ингушской, Немцев Поволжья и др. С 1 июня они подчинялись напрямую ЦК ВКП(б). Казахстанский крайком и Киргизский обком преобразовывались в ЦК КП(б) Казахстана и Киргизии, а вместо Закавказского крайкома создавались ЦК компартий Азербайджана, Армении и Грузии. Таким образом, число национальных компартий увеличивалось с пяти до 16. Фактически этим решением расширялась самостоятельность национальных союзных и автономных республик.