А сразу же после высылки Троцкого по всей стране начались массовые аресты оппозиционеров. 24 января 1929 года «Правда» сообщала: «Несколько дней назад ОГПУ была арестована за антисоветскую деятельность нелегальная троцкистская организация. Арестовано всего 150 человек… при обыске конфискована антисоветская нелегальная литература». Новая волна арестов прошла весной 1929 года. Тогда впервые за оппозиционную деятельность начали приговаривать к заключению в концлагеря (хотя это был еще далеко не тот многократно описанный ГУЛАГ). В одной из листовок говорится, что только в Москве арестовано 200 человек. В других листовках сообщалось то, чего не писали в газетах, — назывались имена арестованных рабочих, сообщалось о смертельной голодовке заключенных в Тобольской тюрьме. Требования оппозиции были поддержаны на рабочих собраниях некоторых заводов Москвы и Московской области. Секрет поддержки нехитер, в их число, кроме чисто политических условий, входили и требования, близкие нуждам рабочего класса: публикация данных о движении реальной зарплаты, сокращение расходов на аппарат, понижение ставок высокооплачиваемых категорий, прекращение продажи водки в рабочих центрах, прекращение выпуска бумажных денег… Примерно так же, как сейчас требование выплатить задолженность по зарплате входит в программы всех политиков, стремящихся к власти, от крайних демократов до крайних патриотов.
Троцкистское подполье в стране было многочисленно, хорошо организовано и неуловимо. Во главе его стояли старые революционеры с огромным опытом подпольной работы. Именно существование подполья во многом объясняло тот факт, что многие подвергались репрессиям за прошлую принадлежность к троцкистской оппозиции, даже при условии раскаяния и последующей честной работы. Сколько среди них было невиновных, а сколько подпольщиков, мы не узнаем, наверное, никогда.
Троцкистскими организациями оппозиционное подполье не ограничивалось. Существовали и другие. Например, «децисты». Еще в 1928 году они выступали против сбора подписей под документами оппозиции и призывали своих сторонников переходить на нелегальное положение. Их вожди Т. В. Сапронов и В. М. Смирнов были из тех, кто не каялся ни при каких обстоятельствах. 20 декабря 1928 года Смирнов послал из ссылки заявление в «Правду» и ЦКК, где говорилось: «…теперешние вожди ВКП(б) изменили пролетариату… нынешнее правительство, действующее под вывеской Советской власти, которую оно на деле уничтожило, является враждебным рабочему классу».
Предусмотрительно созданные заранее подпольные организации «децистов» действовали в Москве, Ленинграде, Харькове, Орехово-Зуеве и других городах. По данным ОГПУ, только ленинградская группа насчитывала до 300 человек. Уже в начале 1928 года эти организации распространяли листовки, где призывали к «устранению руководства, которое способно на все, только не на большевистскую политику».
Столь же непримирим был и широко известный Мартемьян Рютин. Мы не будем приводить здесь его историю, она подробно изложена десятки раз. Отметим только нехарактерную реакцию Сталина на этого человека. В августе 1930 года генсек пригласил его в Сочи. О чем они там два дня разговаривали, так и осталось неизвестным, но уже 13 сентября Сталин называет Рютина «контрреволюционной нечистью», санкционируя исключение из партии и высылку из Москвы. К тому времени Рютин уже вовсю вел со старыми большевиками беседы о том, что руководство ведет страну к краху. Рютин был исключен из партии и арестован по обвинению в контрреволюционной агитации. Однако 30-й год — не 37-й. Коллегия ОГПУ признала обвинение недоказанным (!) и освободила его из-под стражи.
Освободившись, Рютин принялся за создание подпольной организации — «Союза марксистов-ленинцев». Их манифест — «Рютинскую платформу» — Сталин охарактеризовал как прямой призыв к восстанию. Объединенный пленум ЦК и ЦКК, рассматривавший дело «Союза», принял решение об исключении из партии его членов и всех, знавших о его существовании (!). 11 октября без суда, решением коллегии ОГПУ всем 24 человекам, проходившим по делу «Союза», вынесли приговор. Сталин потребовал расстрела Рютина, что странно, ведь в то время он отнюдь не бросался смертными приговорами направо и налево. Однако приговор не прошел. При голосовании на Политбюро против высказались Киров, Орджоникидзе, Куйбышев. Воздержались даже Молотов и Каганович. Рютина приговорили с десятилетнему одиночному тюремному заключению. Остальные тоже получили срок тюрьмы или ссылки. Всего по делу «Союза марксистов-ленинцев» было привлечено к партийной и уголовной ответственности в 1932―1933 годах тридцать человек. Впоследствии всем им приговоры были ужесточены, а в 1937 году большинство «рютинцев» были приговорены к расстрелу.