За Хрущевым сохранялось право пользоваться медицинскими услугами Кремлевской больницы и специальным пайком. В его распоряжении имелась машина – просторный старый «ЗИЛ», но почему-то с частным номером. Кроме дачи у семьи Хрущева оставалась большая квартира в Староконюшенном переулке на Арбате, в которой когда-то жил Шолохов. Но Хрущев не любил этой квартиры. Он иногда приезжал по делам в Москву, но за несколько лет ни одного раза не ночевал в ней.
Хрущев быстро перестал думать о возвращении к руководству и со временем все меньше сожалел об утраченной власти. Но он сожалел о некоторых своих действиях или, скорее, о бездействии во многих ситуациях. Он сожалел о том, что не довел до конца дело партийных реабилитаций и не отменил приговоры по процессам 1936–1938 годов, а отправил в архив выводы специальных комиссий. Очень сожалел Хрущев о громких идеологических кампаниях 1962–1963 годов против абстракционистов, обвинял Ильичева. «Ему (Ильичеву) нужен был пропуск в Политбюро», – говорил Хрущев. Вместе с родными на дачу приезжали иногда и художники, в том числе и те, кого Хрущев когда-то распекал в Манеже. Теперь Хрущев подолгу и спокойно разговаривал с ними. Он был очень тронут, когда Эрнст Неизвестный прислал ему в подарок книгу Достоевского «Преступление и наказание» со своими оригинальными иллюстрациями.
Первые два года жизни на пенсии были для Хрущева наиболее трудными. Но позднее он привык к своему положению и становился все более общительным. Он чаще ездил в Москву и прогуливался по улицам в сопровождении жены и охраны. Хрущев посещал концерты и театральные постановки. Так, с интересом посмотрел пьесу М. Шатрова «Большевики» в театре «Современник». Она понравилась Хрущеву, и он выразил желание побеседовать с ее автором и с режиссером театра О. Ефремовым. Встреча состоялась в кабинете режиссера. У Хрущева имелось лишь одно замечание – заседание Совнаркома в Кремле проходит без участия таких лиц, как Каменев и Бухарин. «Мы хотели их реабилитировать, – сказал он, – да вот Торез помешал».
Располагая досугом, Хрущев стал много читать. У него имелась громадная личная библиотека, он мог получать в прошлом любые из выходивших в стране книг. Иногда Никита Сергеевич смотрел телевизор. Неожиданно для родных он стал слушать иностранные радиопередачи на русском языке. Часто по вечерам слушал «Голос Америки», Би-би-си, «Немецкую волну», которые не глушили по его же инициативе. Из этих передач он узнавал о многих событиях в нашей стране и за границей и комментировал их. Искреннее негодование вызывали у него попытки реабилитировать Сталина, которые так настойчиво предпринимались во второй половине 60-х годов. Хрущев неодобрительно отзывался о процессе Синявского и Даниэля и, напротив, с интересом следил за первыми проявлениями движения диссидентов, которое шло в русле протеста против частичной реабилитации Сталина. Об академике Сахарове Хрущев говорил с симпатией, вспоминал свои встречи с ним и сожалел о резком конфликте 1964 года, связанном с вопросом о Лысенко. К разоблачению и падению этого лжеученого Хрущев отнесся спокойно и не пытался его защищать. Сложным оказалось отношение Хрущева к Солженицыну, о котором так много говорили в 60-е годы. Только теперь он прочитал роман «В круге первом». Роман не понравился Хрущеву, и он сказал, что никогда не позволил бы его напечатать. Здесь была граница, за которую он не способен был перейти. Хрущев стал более терпимым, но не превратился в сторонника плюрализма в культурной и политической жизни. Однако он не жалел, что помог несколько лет назад публикации повести «Один день Ивана Денисовича»: «Может быть, я ненормальный, может быть, все мы ненормальные. Но ведь Твардовский не был ненормальным, а он не раз говорил, что эта повесть великое произведение, что Солженицын большой писатель». Хрущев часто и с большим уважением отзывался о Твардовском, просматривал все номера «Нового мира», читал там повести и романы Ф. Абрамова, В. Тендрякова, Ч. Айтматова, Б. Можаева. Он любил поэзию Твардовского – она была ему понятна. Но Пастернака он принять и понять не мог, хотя и жалел об ожесточенной кампании против него, поднятой в 1959–1960 годах. Часто перелистывая стихи поэта, Хрущев скоро бросал чтение: такая поэзия была ему чужда.
Узнав от родных о бегстве на Запад дочери Сталина Светланы, Хрущев не поверил этому. Он давно знал Светлану Аллилуеву, встречался с ней. Для Хрущева казалось очень важным, что Светлана, в отличие от сына Сталина Василия, публично поддержала решения XX и XXII съездов и выступила по этому поводу на одном из партийных собраний. «Она не могла бежать из СССР. Вы не знаете, насколько она была предана коммунизму. Здесь какая-то провокация». Но, услышав по «Голосу Америки» о подробностях бегства, Хрущев был уязвлен и потрясен. Он долго не хотел ни с кем говорить об Аллилуевой.