Само существование воспоминаний Кагановича долгое время подвергалось сомнениям. Не верилось, что самый жестокий соратник Сталина, обладатель опасных государственных тайн, соучастник и свидетель множества преступлений отважится на мемуары. Когда же они вышли в свет (1997 год, издательство «Вагриус»), та часть общественной публики, что жаждала сенсаций, была сильно разочарована. В более чем 600-страничном повествовании об «эпохе борьбы и побед» автор не сказал ничего «лишнего». Потому что ставил перед собой другую задачу – «показать свой фактически пройденный путь революционного борца в составе великого пролетарского и партийного коллектива, хотя бы частично раскрыть внутренний процесс формирования и развития своего революционного, классового сознания и познания окружающего мира со всеми его классовыми, политическими и психологическими противоречиями». Эту задачу он добросовестно выполнил. Как сказано в издательском предисловии, «„Памятные записки“ Кагановича – это воспоминания человека, абсолютно убежденного в своей личностной, политической и исторической правоте и не менявшего своих взглядов в зависимости от конъюнктуры».
Редакторский коллектив «Вагриуса» провел кропотливейшую работу по обработке архива Кагановича и составлению книги. Из огромного массива материала отбирались те фрагменты, которые могли бы представлять наибольший интерес для читателя – рассказы о ключевых моментах государственной и партийной жизни, личные впечатления автора, его оценки коллег по Политбюро, точка зрения на развитие страны после смерти Сталина, уникальные документы и письма. Чтобы избежать любой трактовки авторского текста, в книгу сознательно не включались примечания и комментарии. Был сохранен в неприкосновенности язык и стиль автора. Редакторской правке подвергались лишь отдельные фразы, орфография и пунктуация.
Мая Лазаревна, дочь Кагановича, признавалась, что, когда ей предложили издать мемуары отца, она не сразу решилась на это. «Предложения о публикации делались и в конце его жизни, но, когда возник вопрос об издании „Записок“, появились связанные с этим сомнения и волнения. Он жаловался с грустью, что 30 лет стремится сохранить свой оптимизм и достоинство, свои убеждения и принципы, но проблемы издания воспоминаний выбивают его из колеи, подрывают здоровье, заставляют волноваться и переживать. Он не хотел, чтобы при издании „Записок“ они подверглись редакторским сокращениям и изменениям, с которыми он мог не согласиться. Затем, однако, он изменил свою точку зрения и выразил согласие на издание „Записок“ в сокращенном варианте».
«Памятные записки» вышли весьма скромным применительно к имени автора тиражом – 10 000 экз. Шуму они не наделали и никогда не переиздавались.
Пребывая на пенсии, Каганович, однако, продолжал держать руку на пульсе страны и партии. Выписывал с десяток газет и журналов (их ему, почти потерявшему зрение, читала дочь Мая). Вникал во все вопросы государственной политики и внутренней жизни КПСС. «Больше того, – признавался он, – я не мог отойти от привычки готовить поправки к проектам решений Политбюро и постановлений Совета Министров. И я, уже по принятым решениям, опубликованным в газетах, отмечал свои возможные поправки, которые я бы внес, если бы участвовал в заседаниях».
Последние годы существования СССР стали для Кагановича временем невыносимо чужим. Временем краха всего, чему всю жизнь служил и во что верил. Последние страницы «Памятных записок» продиктованы отчаянной обидой на «реформаторов» и «демократов», которые пытаются «оклеветать» советский строй. Надо ли писать ответ «клеветникам»? – спрашивал он себя. И отвечал: «Писать надо, потому что сегодня речь идет не просто и не только о просвещении людей, а об идеологической борьбе со всеми теми, кто стремится опорочить, очернить, огрязнить всю ту героическую, идеологическую, культурно-теоретическую, революционно-воспитательную работу, которую провела за столетнее существование наша великая героическая марксистско-ленинская партия Советского Союза. Принятые самой нашей партией, по ее инициативе решения о расширении демократии, демократических основ нашей государственной и общественной жизни, развитие гласности и допущение многопартийности (к сожалению, даже без ограничения для таких партий, как монархическая, фашистская и им подобные) используются враждебными рабочему классу, колхозному крестьянству и социализму элементами и группами для подрыва силы, мощи и независимости нашего Советского государства и даже для реставрации старых, дореволюционных порядков, в которых господствовала эксплуатация человека человеком».