Считается, что Ежов «привел» с собой для работы в ведомство некоторое количество «новых людей», основным образом из партработников среднего звена. Возможно, что это касается работников на местах, но на высших этажах наркомата принципиальных изменений не произошло. Хотя бы потому, что Ежов не сразу обрел всю полноту власти в НКВД. Впрочем, иначе быть и не могло. В первую очередь над ним довлела фигура И.А. Пятницкого (настоящие имя и фамилия Иосель Ориолович Таршис). Заведующий политико-административным отделом ЦК, Пятницкий не только контролировал работу НКВД. Именно он подбирал для наркомата кадры, согласовывал действия НКВД с Наркоматом юстиции, Прокуратурой СССР и судебными органами. Работавший еще агентом ленинской «Искры», Пятницкий имел большое влияние в партии.
Правда, уже на третий день после назначения Ежов освободил от обязанностей первого заместителя Ягоды русского дворянина Г.Е. Прокофьева, которого отправили к бывшему его начальнику в Наркомат связи. Не без участия Пятницкого место Прокофьева 29 сентября занял кадровый чекист с 1918 года М.Д. Берман. Другим заместителем наркома 16 октября стал тоже «ветеран» ОГПУ – НКВД М.П. Фриновский. Сын учителя, образование Фриновский получил в духовном училище. В январе 1916 года поступил в кавалерию вольноопределяющимся, унтер-офицер. До революции он был связан с анархистами и с ними в 1917 году участвовал в штурме Кремля. Работу в ЧК он начал в 1919 году, в годы Гражданской войны служил в особых отделах армий и фронтов, а в 1930 г. стал председателем ГПУ Азербайджана.
Еще одним заместителем Ежова, – тоже с подачи Пятницкого, – 3 ноября был утвержден Л.Н. Бельский (Абрам Михайлович Левин), начавший работу в ЧК в 1918 году. Это были «старые» кадры. Правда, 15 октября начальником отдела кадров наркомата был назначен «человек со стороны». Эту значимую должность занял ранее занимавшийся партийной работой М.И. Литвин, а пост начальника административно-хозяйственного управления занял С.Б. Жуковский. Семен Борисович закончил в 1915 году коммерческое училище, в 1932–1933 гг. работал заместителем торгпреда в Германии, а с 1934 года являлся членом Комиссии партийного контроля. То есть являлся давним коллегой Ежова.
И хотя вскоре в аппарате НКВД были понижены в должности семеро старых сотрудников, пребывавшие в этом учреждении еще со времен ВЧК, но Ежов и Пятницкий сохранили и ягодинские кадры. 28 ноября приказом по НКВД был ликвидирован экономический отдел (ЭКО – борьба с диверсиями и вредительством), но возглавлявшего его с 1931 года Миронова (Лев Григорьевич Каган) назначили начальником более всесильного контрразведывательного отдела (КРО). Сын коммерсанта, он еще в декабре 1916 года вступил в еврейскую социалистическую партию «Бунд», но затем в январе 1918 года стал членом РКП(б). С февраля 1919 г. Миронов-Каган работал председателем Пирятинской уездной ЧК, с мая 1924 года он начальник 5-го отдела ЭКО, а с апреля 1931 года – начальник ЭКО ОГПУ.
Сохранил пост 1-го заместителя наркома и активный участник подготовки важнейших политических процессов Яков Саулович Агранов (Янкель Шаевич Соренсон). 29 декабря 1936 года он получил должность начальника Главного управления государственной безопасности (ГУГБ). Напомним, что Янкель Шаевич в 20-е годы занимался делами административной высылки антисоветских элементов интеллигенции. Но, являясь ближайшим помощником Ягоды, отличился он на подготовке процессов правых эсеров, Промпартии и Трудовой крестьянской партии. Под надзором Агранова проводились допросы Зиновьева, Каменева, Бухарина, Рыкова, Тухачевского и других. Именно он готовил главные политические процессы 30-х годов.
Ежов и Пятницкий не ограничились кадровыми перестановками. В ноябре 1936 года Отдел охраны членов правительства был отделен от службы, занимавшейся охраной дипкорпуса, и с 25 декабря реорганизован в 1-й отдел ГУГБ. В конце ноября была изменена структура органов охраны руководства СССР. Однако начальником самостоятельного Первого отдела (охраны) ГУГБ НКВД стал сын львовского парикмахера Карл Викторович Паукер. Таким образом, с приходом русского по отцу Ежова национальное лицо НКВД не только не изменилось, оно стало еще более ярко выраженным. Подавляющее преимущество в руководстве карательным ведомством по-прежнему оставалось за людьми одной национальности.