В секретариате Сталина Бажанов исполнял обязанности дежурного секретаря, а его основной работой было ведение протокольных записей во время многочисленных совещаний в ЦК. Таких секретарей было несколько, поскольку должность эта являлась чисто технической, о чем говорит тот факт, что они как и стенографистки и машинистки работали попеременно в две смены. Что же касается основных помощников Сталина и технического секретаря Политбюро (им в то время была М. Буракова), то они приходили на работу к 9 часам (за час до Сталина) а уходили домой после него, в 11–12 часов вечера. В связи с этим контакты Бажанова со Сталиным, вопреки его утверждениям, были весьма ограничены, так как все задания и поручения генсека, а также отчеты об их исполнении шли через Товстуху и Мехлиса.
В своих мемуарах Бажанов писал, что во время работы в Политбюро стал антикоммунистом и это определило всю его дальнейшую жизнь, в том числе и решение бежать за границу. Однако по мнению сослуживца Бажанова по секретариату ЦК Алексея Балашова все обстояло совершенно иначе:
«Бажанов был человеком, который стремился в любой ситуации извлечь пользу для себя, получше устроиться. Я не осуждаю Бажанова — это его право, но об этом следовало бы честно сказать, а не изображать из себя борца с большевизмом. Для тех, кто его знал, эти потуги представить себя благородным и безупречным рыцарем выглядят просто смешно. Да и причина ухода из ЦК была не самая почтенная. В Высшем совете физкультуры Бажанов набрал целую кучу спортивного оборудования, закупленного на Западе. Через какое-то время его стали просить вернуть лыжи, коньки, палатку, лодку и еще какие-то вещи, предназначенные для тренировок и выступлений рабочих-спортсменов. Он повел себя очень высокомерно, решил, что ему все можно, и даже не стал отвечать товарищам из ВСФК. Они долго пытались как-то повлиять на него, а потом написали в ЦК Бажанову пришлось снаряжение вернуть и подать заявление об увольнении, которое Сталин подписал без разговоров. К таким поступкам относились очень строго и ему еще повезло, что дело не попало в Центральную контрольную комиссию (ЦКК). Но как он отреагировал на эту ситуацию? Обиделся. Не сумел сделать для себя правильные выводы и очень скоро совсем запутался»[98]
.Из секретариата Сталина Бажанова уволили в мае 1924 года (сам он утверждал, что работал там до конца 1926 года), после чего его долгое время нигде не хотели брать на службу по причине молодости и незначительного опыта работы. И только когда Товстуха попросил за Бажанова наркома финансов Сокольникова, «бывшего личного секретаря Сталина» 13 января 1925 года назначили вторым помощником заведующего финансово-экономического бюро Наркомфина, то есть канцелярским работником, ответственным за своевременное прохождение служебных бумаг. Здесь первое время Бажанова ценили довольно высоко. Так, заведующий бюро М. Бронский в характеристике Бажанова, написанной 9 июля 1925 года, предлагает назначить его в ближайшее время «вторым замом нач. ФЭБа», отмечая при этом, что он «еще недостаточно гибок (молод)».
Однако больше Бронский таких предложений не выдвигал, поскольку разобрался в том, что представлял из себя на самом деле крайне амбициозный, недоучившийся студент. Этому поспособствовал и сам Бажанов, который после увольнения из ЦК «расслабился» и начал крутить многочисленные любовные романы. Среди его любовниц были служащая аппарата ЦК В. Зверде и сотрудница ЦК комсомола А. Андреева, жена крупного партийного работника П. Смородина. В 1926 году, находясь на отдыхе, они выяснили, что обе имеют по ребенку от Бажанова. Андреева шума поднимать не стала, а Зверде, женщина одинокая, обратилась с жалобой в ЦКК. В своем заявлении она написала, что Бажанов развратничает, что он включил в команду конькобежцев, с которой в декабре 1925 года ездил на соревнования в Норвегию, свою любовницу Андрееву, оформив ее как жену. Последствия не заставили себя ждать. 26 мая 1926 года партколлегия ЦКК рассмотрела персональное дело Бажанова и постановила: за устройство Андреевой в заграничную командировку за государственный счет в качестве жены объявить Бажанову строгий выговор, а материалы об Андреевой передать в конфликтную комиссию ЦК ВЛКСМ.