Никакого ответа он ни разу не получил. Безвозвратная утрата партбилета – это было его незаживающей раной до последнего дня жизни.
После возвращения из ссылки Каганович начал писать воспоминания. Ему представлялось важным и поучительным рассказать о своей партийной и государственной работе. Но была и другая цель – реабилитировать себя в глазах современников и потомков.
Воспоминания написаны в школьных тетрадях чернилами. Это 14 тысяч страниц (на обороте – дополнения и исправления), многие из которых с трудом поддавались расшифровке: в последние годы жизни Каганович очень плохо видел, рука его слабела, писать приходилось по специальному трафарету, а надиктовывать свои воспоминания он категорически отказывался.
В авторском предисловии говорится:
«Мои „Памятные записки“ охватывают все периоды моего участия в революционном рабочем движении, борьбе и работе Ленинской большевистской партии, начиная с периода нового подъема революционного рабочего движения 1911–1914 годов и кончая периодом построения социализма в нашей Советской стране, победы нашего социалистического отечества над немецким фашизмом и японским милитаризмом, восстановления и развития социалистического хозяйства на новой, более высокой технической основе и развертывания строительства материально-технической базы коммунизма».
Каганович работал над мемуарами беспрерывно, до 1985 года, когда по случаю перелома бедра был помещен в больницу на пять месяцев и вышел оттуда на костылях. «Работать мне было нелегко, потому что, в отличие от других мемуаристов, работавших в ограниченных областях, на мою долю выпала работа во многих территориальных областях и во многих отраслях. Поэтому мне пришлось напрягать свою память, подбирать соответствующие материалы по всем этим областям и отраслям. А архивы мои, если они сохранились, также разбросаны по многим местам, и у меня к ним доступа не было. В особенности в ЦК КПСС, ЦК Украины, Московском комитете партии».