Ненависть Пеньковского к Хрущеву исходит из военной среды, в которой он в основном вращался. Точно он определяет в дневнике: «Генералы в Генеральном штабе не любят Хрущева». И не только генералы. В то время, в конце 50-х — начале 60-х годов, в руководстве страной шли масштабные споры, какими должны быть вооруженные силы. И эти споры отражались на судьбах сотен тысяч людей. Начались перемещения в командном эшелоне вооруженных сил, большую часть их просто уволили в запас. Хрущев провозгласил лозунг: сила армии в ее качестве, а не в ее количестве. Он пытался сэкономить ресурсы, чтобы хоть что-то выкроить на мирную промышленность. Хрущев исходил из того, что обычные виды вооружений устарели, и предлагал сосредоточиться на ракетах и ядерном оружии. С этим напрочь были не согласны старые генералы, прошедшие через Вторую мировую войну. Варенцов говорил: «Конечно, мы должны уделять внимание ракетам, но нельзя забывать и об обычной артиллерии, о нашей старушке-пушке».
Хрущев демобилизовал 1,2 миллиона военнослужащих, что резко настроило против него офицеров, которые оказались на гражданке — без мирной профессии, без внятных перспектив. Как рассказывал один пенсионер: «Хрущев сокращать армию надумал, я хоть пенсию выслужил, а были такие, что месяц — два не дослужили — иди, куда хочешь. Сталин хоть сразу убивал, а этот по миру пустил…»
Пеньковский не знал, что инициатором обновления кадров был Георгий Жуков, министр обороны. Заняв этот пост, он внимательно изучил личные дела генералов и маршалов. После этого пришел к Хрущеву: «Никита Сергеевич, надо многих менять. Старые, кого ни возьмешь — за пятьдесят. В случае войны мне не нужны командующие фронтами и армиями, рассчитывающие возить за собой лазарет. Мне нужны люди, физически и морально сильные. Здоровые, чтобы и ночь не поспать, и солдатам пример показать. А эти будут больше думать о теплой перине», — и положил перед Хрущевым список генералов и маршалов, которых предлагал отправить в отставку. Список был не короткий.
Тогда генеральское звание давало существенные материальные преимущества. Хрущев срезал офицерам и генералам оклады и лишил многих привилегий, который установил в свое время Сталин. Начальник Генштаба стал получать в месяц 2000 рублей (для сравнения: пара хороших ботинок стоила 40 рублей, костюм — 110 рублей, квалифицированный рабочий зарабатывал рублей 120). Командующие армиями и войсковыми соединениями имели оклад в 1800 рублей, маршал Варенцов — 1200 рублей. Уменьшая оклады и другие выплаты военным, Хрущев заявил: «Они разжирели! Мы не можем и не должны плодить интеллигентов и капиталистов!» Генеральские и офицерские пенсии были сокращены в два раза. И хотя военные пенсионеры все равно получали раза в три — четыре больше обыкновенных —
Пеньковский считал: если Главнокомандующий так относится к армии, то он, полковник, имеет полное право предать его. И с легким сердцем принимает решение работать на иностранную разведку, чтобы побольнее ужалить Хрущева. В свое время Ленин проповедовал похожую логику, договариваясь с немцами о взаимодействии: они помогут ему убрать царя, он — выйдет из войны против Германии. Правда, немцы потом такие кабальные условия выдвинули, что даже Ленин назвал Брестский мир —
Не все были довольны в военной среде и кампанией по разоблачению Сталина. Как-то Пеньковский был у Серова в гостях и от него узнал, как он выразился,
Из текста дневника можно сделать вывод, что Пеньковский — сталинист. Он против Хрущева, он тоскует о временах Сталина. Записал заветное: «Кругом такой бардак. Твердой руки Сталина нам не хватает». Возможно, это влияние Сергея Сергеевича Варенцова. Маршал как-то ему рассказал: заседал Высший военный совет, на котором почему-то не было Хрущева, маршал Бирюзов предложил выделить дополнительные средства на испытания ракетного оружия, Суслов и Микоян решить этот вопрос не смогли. Варенцов прокомментировал: «Они ходили вокруг да около, но решения так и не приняли. Будь жив Сталин, он бы сказал свое веское слово, и все проблемы мигом были бы сняты. А теперь у нас не Военный совет, а колхоз какой-то. Никакого порядка».