Канонический хаос, последовавший за кончиной патриарха Тихона и арестом митрополита Петра, а также действия ГПУ, направленные на дальнейший раскол Церкви, привели к тому, что в Русской Церкви вскоре образовалось несколько претендентов на роль местоблюстителя. Митрополит Сергий отверг их притязания, вступил в переписку с находившимся в тюрьме митрополитом Петром и заручился его поддержкой. Однако в конце 1926 года и он был арестован и отстранен от управления Церковью. К тому времени многие архиереи томились в лагерях и тюрьмах по всей России. Более 20 архиереев находились в бывшем Соловецком монастыре, превращенном в «Соловецкий лагерь особого назначения».
30 марта 1927 года митрополит Сергий был освобожден из заключения. 7 мая он обратился в НКВД с ходатайством о легализации церковного управления. В качестве условия такой легализации ставилось заявление, в котором Сергий должен был высказаться в поддержку советской власти, осудить контрреволюцию и эмигрантское духовенство. 29 июля митрополит Сергий и сформированный им Временный Патриарший Синод издали «Декларацию», содержавшую благодарность советскому правительству за «внимание к духовным нуждам православного населения», призыв «не на словах, а на деле» доказать лояльность советской власти и осуждение «противосоветских выступлений» некоторых заграничных архиереев. «Мы хотим быть православными и в то же время сознавать Советский Союз нашей гражданской Родиной, радости и успехи которой — наши радости и успехи, а неудачи — наши неудачи», — говорилось в «Декларации».
Издание этого документа вызвало в церковной среде смятение, и значительная часть епископата отказалась его признать. Сложилась партия «непоминающих» — тех архиереев и клириков, которые отказывались поминать митрополита Сергия за богослужением. Заграничный Синод выразил свое несогласие с «Декларацией» и постановил: «Заграничная часть Русской Православной Церкви должна прекратить административные сношения с Московской Церковной властью ввиду невозможности нормальных сношений с нею и ввиду порабощения ее безбожной советской властью». В мае 1928 года указом митрополита Сергия и Временного Синода Заграничный Синод и Собор были объявлены упраздненными и все их действия отмененными. В 1934 году Заграничный Синод во главе с митрополитом Антонием (Храповицким) был вторично осужден с запрещением в священнослужении всех его членов впредь до суда или раскаяния. Однако Зарубежная Церковь, вопреки прещениям со стороны митрополита Сергия и его Синода, продолжала существовать и развиваться.
Издание «Декларации» не приостановило гонения на Церковь. Наоборот, в 1928—1931 годах они развернулись с новой силой. На 1 января 1928 года на территории РСФСР находилось 28 560 приходов Русской Православной Церкви, а вместе с приходами обновленцев и других раскольников число приходов приближалось к 39 тысячам (т. е. 2/3 от дореволюционного количества). В течение 1928 года закрыли 354 церкви, а в 1929–м — 1119, из которых 322 были уничтожены. В Москве из 500 храмов к январю 1930 года оставалось только 224, а через два года — лишь 87. В 1931 году был взорван храм Христа Спасителя. По всей стране боролись с колокольным звоном, срывали и разбивали колокола. Продолжалось уничтожение икон и осквернение святынь.
Аресты и расстрелы священнослужителей не прекращались. Первый удар был нанесен по противникам «Декларации» митрополита Сергия, затем по прочим архиереям. Борьба митрополита Сергия за легализацию Церкви и облегчение судьбы арестованных архиереев имела лишь относительный успех. По его ходатайству несколько архиереев в 1931 году вернулись из заключения и ссылки, однако другие архипастыри продолжали томиться в тюрьмах и изгнании. Все новые и новые аресты происходили на глазах заместителя патриаршего местоблюстителя, который был бессилен что–либо сделать. Сам местоблюститель митрополит Петр был в 1926 году отправлен в ссылку в Тобольскую область, а затем на Крайний Север, в зимовье Хэ. На многократные предложения сложить с себя полномочия местоблюстителя он отвечал отказом, и к срокам наказания, которые он отбывал, добавлялись новые сроки.
В 1932 году «Союз воинствующих безбожников» спланировал пятилетку борьбы с религией: согласно плану, церкви всех конфессий должны быть закрыты, а священнослужители высланы за границу, и «к 1 мая 1937 года имя Бога должно быть забыто на всей территории СССР». Разумеется, священнослужителей за границу никто не высылал: их продолжали заключать в тюрьмы и расстреливать, причем в отличие от времен Ленина, когда производились громкие и публичные судебные процессы, теперь для расстрела достаточно было приговора «тройки». В 1930–е годы, когда молох сталинского террора ударил по всем слоям населения, арестам и расстрелам стали подвергать всех священнослужителей без разбора, включая обновленцев. К середине 1930–х годов обновленческий раскол себя практически исчерпал, и в 1935 году обновленческий «синод» самоликвидировался.