В состав Наркомата внутренних дел СССР вошли ОГПУ СССР, преобразованное в Главное управление государственной безопасности, Главное управление рабоче-крестьянской милиции, Главное управление пограничной службы и внутренней охраны, Главное управление пожарной охраны и другие управления и службы. Кроме того, вместо прежней Судебной коллегии ОГПУ было создано Особое совещание НКВД, под руководством которого начнется процесс создания так называемых «троек», в состав которых входили первые секретари местных партийных комитетов и руководство органов прокуратуры и внутренних дел. Именно эти внесудебные органы власти стали предрешать все судебные приговоры, которые выносились по знаменитой 58 статье УК за антисоветскую деятельность и шпионаж.
После трагической гибели С.М. Кирова органы НКВД стали играть важнейшую роль в проведении политических репрессий, которым в 1934―1935 гг. подверглись более 260 000 человек. Кроме того, в этот период в процессе обмена старых партийных билетов, который был начат в августе 1934 г., органы НКВД СССР собрали максимально полное досье на всех потенциальных противников режима, исключенных из партии в ходе новой партийной чистки. Теоретическим обоснованием политики «массовых» репрессий стали два выступления Николая Ежова «От фракционности к открытой контрреволюционности» и «О троцкистских и правых антисоветских организациях», произнесенные им на Пленумах ЦК в феврале и декабре 1935 г.
Первыми жертвами новой волны политических репрессий в стране стали члены так называемого «Троцкистско-зиновьевского террористического центра» — Г.Е. Зиновьев, Л.Б. Каменев, Г.Е. Евдокимов, И.П. Бакаев, В.А. Тер-Ваганян, И.Н. Смирнов, Е.А. Дрейцер, И.И. Рейнгольд, С.В. Мрачковский, Э.С. Гольцман, Р.В. Пикель и другие, которые в ходе первого московского процесса, прошедшего в августе 1936 г., были признаны виновными в организации убийства С.М. Кирова и других смертных грехах, и приговорены к расстрелу. Невольной жертвой этого процесса стал и бывший член Политбюро ЦК ВКП(б) и председатель ВЦСПС Михаил Павлович Томский, который в день вынесения всем подсудимым смертного приговора покончил жизнь самоубийством.
Новый виток политических репрессий вызвал резкое недовольство И.В. Сталина и А.А. Жданова, которые, находясь на отдыхе в Сочи, в сентябре 1936 г. потребовали срочного снятия Г.Г. Ягоды с поста наркома внутренних дел и назначения на эту должность секретаря ЦК ВКП(б) Н.И. Ежова.
Назначение Н.И. Ежова на должность нового главы НКВД СССР сыграло решающую роль в дальнейшем развитии «массовых» репрессий. В январе 1937 г. состоялся Второй московский процесс по делу «Антисоветского параллельного троцкистского центра», в ходе которого новая группировка видных «зиновьевцев» и «троцкистов», в частности, Г.Л. Пятаков, Л.П. Серебряков, Г.Я. Сокольников, К.Б. Радек, Н.И. Муралов, М.С. Богуславский, А.Я. Лившиц и Я.Н. Дробнис была приговорена к расстрелу или длительным срокам заключения.
18 февраля 1937 г., накануне созыва очередного Пленума ЦК покончил жизнь самоубийством или даже был убит по личному указания И.В. Сталина авторитетный член Политбюро ЦК ВКП(б), нарком тяжелой промышленности СССР Григорий (Серго) Константинович Орджоникидзе, который, по мнению ряда историков (Р. Медведев, О. Хлевнюк), в крайне резкой форме выступал против политики массовых репрессий, которую открыто поддерживали большинство членов Политбюро, в том числе И.В. Сталин, В.М. Молотов, Л.М. Каганович, К.Е. Ворошилов, А.А. Андреев, А.А. Жданов и А.И. Микоян. Другие авторитетные историки (Ю. Жуков, Ю. Емельянов) справедливо полагают, что традиционная, и особенно новая, трактовки смерти Г.К. Орджоникидзе совершенно не правомерны и нуждаются в дальнейшем тщательном изучении.