Что делал Ежов во второй половине 1921 г., неизвестно. Может быть, в октябре вместе с Маленковым участвовал в подавлении восстания басмачей в Бухаре – этим объясняется близость Ежова с Маленковым десять лет спустя. Известно, что Ежов постоянно болел: всю жизнь его мучили кашель и лихорадки, и он время от времени лечился от туберкулеза. В Казани Ежов женился на Антонине Титовой, которая, как и сестра и приемная дочь Ежова, каким-то чудом пережила его. Никто не помнит, чтобы она когда-нибудь говорила о своем муже. Дочь деревенского портного, Антонина обучалась естественным наукам в Казанском университете, когда революция прервала все занятия. Потом она работала секретаршей. Николай Ежов, несмотря на маленький рост, был мускулистым и энергичным парнем и ей, очевидно, понравился. Целых восемь лет они казались нормальной, даже счастливой четой.
Казанский партком написал рекомендацию в Москву, откуда Ежова отправили в Йошкар-Олу (тогда Краснококшайск), где половину населения составляли марийцы, и обязанностью Ежова было снимать этническое напряжение. Когда он приехал в марте 1922 г., в местной парторганизации марийцы уже заняли все руководящие должности, на что лучше образованные русские сильно досадовали. Местный партийный начальник Петров, мариец, с презрением прозвал Ежова «Изи Миклай» (маленький Коля). Ежов нанес типичный для него ответный удар: он создал собственный аппарат из проверенных людей, чтобы перехватить у Петрова власть, написал донос в Москву на «идеологический беспорядок» партийной организации, изобличил Петрова в обмане и подделке и пригласил из Москвы целую комиссию, чтобы расправиться с марийцами. Ежов пошел еще дальше: он назначил свою жену Антонину главой партийной организации и обвинил Петрова в «марийском национализме»: Петрова надо было обуздать, и Ежов прилагал нужные документы.
Конфликт кончился вничью – и Петрова, и Ежова Москва отправила в бессрочный отпуск (4). Но Ежов выиграл тем, что произвел положительное впечатление в Москве, в особенности на Кагановича. (С Кагановичем Ежов уже столкнулся в Витебске, когда Каганович, будоража железнодорожников, к своему удивлению, узнал, что похожий на мальчика Ежов был комиссаром вокзала.)
В 1923 г. целый комитет вождей – Калинин, Рыков, Каганович, Куйбышев и Андреев – решил, что Ежова можно послать еще в один этнически сложный регион, в Семипалатинск, который тогда был ключевым городом в огромной Автономной Киргизской ССР (от старого названия казахов – «киргизы»; с 1925 г. – Автономная Казахская ССР). Ежову не минуло еще и тридцати, когда он стал фактически главой партии в области, опустошенной голодающими тюркскими кочевниками, бандитами и дезертирами. Он так хорошо навел порядок, что его перевели в Оренбург, тогдашнюю столицу Автономной КССР. К 1926 г. он был уже солидным партийным чиновником и делегатом XIV съезда партии. Умным и опытным людям Ежов нравился. Казахстанский археолог и писатель Юрий Домбровский, который прошел не один лагерь, писал о нем:
«Это был отзывчивый, гуманный, мягкий, талантливый человек. Любое неприятное личное дело он обязательно старался решить келейно, спустить на тормозах. Повторяю: это общий отзыв.
Так неужели все лгали? Ведь разговаривали мы уже после падения «кровавого режима» (5).
Другой свидетель из Казахстана, тоже побывавший в ГУЛАГе, вспоминает, как Ежов «с чувством пел народные песни».
В конце 1925 г., на партийном съезде в Москве, Ежов остановился в гостинице вместе с Иваном Михайловичем Москвиным. Москвин был с Зиновьевым на ножах, и поэтому изо всей ленинградской администрации Сталин доверял одному ему и выдвинул его, так что Москвин заведовал отделом партии по организации и распределению кадров. Москвин должен был отыскивать хороших администраторов; видя в Ежове земляка-петербуржца, полюбил его. Ежов тоже нуждался в Москвине, потому что искал работу в Москве, где в 1926 г. начала обучаться Антонина. В феврале 1927 г. Ежов поступил в отдел трудолюбивого Москвина, которого он удивлял тем, что каждое дело заканчивал до срока и никогда не уставал от бюрократической канители. Через семь месяцев Ежов стал заместителем Москвина и фактически приемным сыном Москвиных. София Москвина прозвала его «воробышком», но лучше она бы его прозвала «кукушонком», ибо через десять лет Ежов расстреляет Ивана Москвина как масона, а Софию неизвестно за что. Зять Москвина, Лев Разгон, вспоминает Ежова в 1927 г.: