Вначале, 1 декабря 1961 года, Кагановича исключила первичная организация Московского отделения НИИ сульфатно-спиртовой промышленности, где он, выйдя на пенсию, состоял на партучете. Повестка дня состояла из одного пункта: «Итоги XXII съезда КПСС и задачи нашей партийной организации». И вдруг, в самом начале заседания, объявляют, что будет обсуждаться «персональное дело коммуниста Кагановича Л.М.» Сославшись на болезнь, Каганович на собрание не явился. Согласно уставу, разбирать персональное дело коммуниста в его отсутствие было нельзя. Но секретарь парткома Белоконцева сообщила, что Каганович был поставлен в известность «о возможности рассмотрения на этом собрании его персонального дела». Сочли, что болезнь носит «дипломатический» характер и приступили к разбору. Выступил «старый коммунист», уроженец Иваново-Вознесенска Маштафаров. Он рассказал, что в 1937 году «жил и работал в Иваново» и был свидетелем творимых сталинским наркомом беззаконий. Где и кем он работал – а он был начальником секретариата Ивановского УНКВД – Мушафаров уточнять не стал. Решение об исключении Кагановича из партии был принято единогласно.
Следующей инстанцией стал Фрунзенский райком партии, где 10 января 1962 года утвердили решение «первички».
Последнюю точку в «персональном деле коммуниста Кагановича Л.М.» поставило бюро Московского горкома 23 марта 1962 года. Председательствовал первый секретарь МГК П.Н. Демичев. Докладчиком выступала Л.М. Перфилова, первый секретарь Фрунзенского райкома КПСС г. Москвы.
Кагановича обвиняли в массовом избиении кадров в Ивановской и Ярославской областях, на Кубани и на железнодорожном транспорте. Было сказано, что в распоряжении Комитета партийного контроля имеются 32 личных письма Кагановича в НКВД с требованием арестовать 83 руководителя транспорта и что его же подпись стоит на 189 «сталинских списках», по которым было осуждено 19 110 человек. Говорилось, что политику необоснованных репрессий Каганович продолжил и в послевоенные годы на посту руководителя Украины.
Завершая обвинительную речь, Перфилова горестно констатировала, что свои «преступления, зачастую граничащие с садизмом», Каганович оценивает только как ошибки.
Дали слово ему. Он занял глухую оборону: «Факты другие – по Иваново-Вознесенску. Я никогда не занимался Вознесенском, я был секретарем ЦК, секретарем Московского комитета… Я занимался тяжелым транспортом… Меня послали в Иваново. Я расскажу, что было в Иванове и Вычуге… странное дело, почему берут Иваново-Вознесенск, которым я не занимался никогда, а не говорят о Москве…»
Когда натиск усилился, Каганович сменил тон, начал каяться: «Совесть во мне говорит. Я пришел к вам с повинной». Но вскоре, воспряв духом, вновь и вновь стал твердить: «Когда здесь говорят, что я нечестный человек, совершил преступление… да как вам не стыдно!»
В конце заседания Демичев приказал Кагановичу сдать партбилет. Будучи знатоком бюрократических правил, тот ответил: «Когда мне дадут подписанный протокол, тогда я сдам, а сейчас нет. Что бы вы со мной ни сделали, я остаюсь ленинцем, большевиком».
Окончательно решение об исключении Кагановича было, вероятно, утверждено постановлением Партийной комиссией при ЦК КПСС в том же 1962 году. А ранее, 8 декабря 1961-го, Президиум ЦК КПСС принял секретное постановление: в течение 1962–1963 годов поменять у 69 тысяч коммунистов партийные билеты, выданные кагановичскими райкомами партии. Таковых до 1957 года на просторах тогдашнего СССР было 22.
Начиная с 1962 года Каганович регулярно и неотступно писал письма в Политбюро ЦК КПСС, лично Хрущеву, Брежневу, Андропову, Черненко… И просил в этих письмах лишь об одном – восстановить его в партии.