О жизни Хрущева в отставке известно сравнительно немного. После смещения с ним поступили более гуманно, чем сам Хрущев поступил с удаленными от власти Маленковым и Булганиным. Ему назначили большую персональную пенсию, оставили московскую квартиру и подмосковную резиденцию. В его распоряжении был автомобиль с шофером и немногочисленный персонал, который охранял дачу Хрущева и, по-видимому, наблюдал за ним. Но каких-либо запретов на передвижение или посещение общественных мест, например театров, не было. Иногда Хрущеву разрешали даже встречаться с иностранными корреспондентами, но их сообщения, конечно, не находили никакого отражения в советской прессе. Первые месяцы после выхода на пенсию Хрущев все время пребывал в подавленном состоянии и почти не выходил за пределы своей дачи. Но с 1966 года он освоился с положением пенсионера и даже стал посещать Москву, бывать в театрах и в кино, беседовать с некоторыми деятелями культуры, с которыми у него ранее были дружеские отношения. Иногда он приглашал старых друзей к себе на дачу, но чаще всего под разными предлогами те отказывались. Иногда Хрущев и просто ходил по улицам Москвы, его, конечно, узнавали, и иногда завязывались беседы. Его сопровождали представители охраны, которые не вмешивались в дела Хрущева. Гуляя вокруг дачного поселка, где он жил, Хрущев обычно пользовался полной свободой, и ему нравилось слушать передачи на русском языке из-за границы, особенно Би-би-си. Он иногда уходил далеко, осматривая поля соседних колхозов и совхозов. Однажды во время такой прогулки Хрущев заметил очень плохо возделанное поле и попросил колхозника позвать бригадира и директора совхоза. Здесь же на поле он стал их жестко, но справедливо ругать за плохую агротехнику и недобросовестную работу. При этом он по привычке не просто высказывал свое мнение, а требовал и давал директивы. Руководители совхоза сначала растерялись, но потом директор, задетый резкостью и справедливостью замечаний, обиделся и начал не менее грубо оскорблять Хрущева, дескать, вы теперь не Председатель Совета министров и не имеете права вмешиваться в дела совхоза – мы сами знаем, что нам нужно делать. Почему-то именно этот эпизод Хрущев потом долго переживал как большую неприятность.
На пенсии Хрущев, по-видимому, больше думал о том, что же не позволило ему добиться успеха в сельском хозяйстве и в других делах. Наверное, эти размышления и привели его к мысли о том, чтобы написать воспоминания. Но все же из его мемуаров становится ясно: он так и не понял до конца, что неудачи в сельском хозяйстве были связаны не только с тем, что не хватало тракторов, удобрений или хороших руководителей, а крестьяне не имели опыта выращивания кукурузы. Дело было в том, что еще с периода принудительной коллективизации люди фермерского склада, настоящие потомственные крестьяне были уничтожены в попытках сделать сельский труд разновидностью индустриального труда – то есть превратить крестьянина в бесправного рабочего, подчиненного бюрократической дисциплине, «прикрепленного» к земле, лишенного возможности сменить место работы, а не мотивированного свободным фермерским или артельным трудом и личной заинтересованностью. Именно в сельском хозяйстве следовало развивать прежде всего частную инициативу и свободу труда, а не создавать машину государственной эксплуатации.
И не только сельское хозяйство, но и все экономическая история Советского Союза могла бы иметь другие более спокойные и плодотворные пути развития, если бы нэп в 1921–1922 годах, способствовавший становлению высокопроизводительного фермерского хозяйства, не был прерван жестокой и принудительной коллективизацией и уничтожением всего частного сектора. Все сложилось бы иначе, если бы и в политической жизни происходило не усиление авторитарных методов руководства, а постепенное восстановление хотя бы ограниченной внутрипартийной демократии, которая распространилась бы на всю страну. Хрущев имел возможность довести до конца начатую им в этом направлении политику (с 1953–1954 годов), но он не смог в силу особенностей характера быть терпеливым, последовательным и серьезным лидером. Его уход с политической арены не создал того вакуума, который возник после смерти Сталина, и не сопровождался борьбой за власть. На смену Хрущеву пришло действительно коллективное, но при этом более консервативное руководство. Попытки нового руководства наладить успешное экономическое развитие без серьезных политических демократических реформ не имели достаточного успеха. Кульминацией консервативных тенденций стало военное вмешательство стран «Варшавского пакта» в развитие демократических процессов в Чехословакии в 1968 году. Но именно чехословацкая трагедия, которая могла стать началом резкого усиления реакции и внутри СССР, снизила международный и внутренний престиж советского руководства настолько, что в последующие годы руководители страны пытались вернуть себе популярность путем внутренних реформ и пересмотра внешнеполитического курса.