В декабре 1922 года вышло постановление о высылке владыки Афанасия на два года в Зырянский край. Перед отправкой в ссылку его и еще несколько епископов перевели в московскую Таганскую тюрьму ожидать этапа.
Письмо матери, написанное владыкой Афанасием в Таганской тюрьме 4 февраля 1923 года в шесть часов утра, в день святого князя Георгия Владимирского, поражает бодростью духа и готовностью пострадать за Христа: «А тюрьмы нам нечего бояться. Здесь лучше, чем на свободе, это я не преувеличивая говорю. Здесь истинная Православная Церковь. Мы здесь как бы взяты в изолятор во время эпидемии. Правда, некоторые стеснения испытываем. Но – а сколько у Вас скорбей… Тяжело положение тех православных пастырей, которые сейчас, оставаясь на свободе, несут знамя Православия. Помоги им Господи. Их крест тяжелее креста тех, которые в тюрьмах, они больше нуждаются в помощи православных мирян».
16 февраля 1923 года в сто двадцать первой одиночной камере Таганской тюрьмы, готовясь к первой в своей жизни ссылке, владыка Афанасий освятил антиминс для своего келейного походного храма Всех святых, в Русской земле просиявших. Еще несколько антиминсов и переписанный от руки текст новой службы праздника он раздал архиереям-узникам, которых тоже отправляли в ссылки.
Владыку Афанасия сослали в Усть-Сысольск (город Сыктывкар Республики Коми). Какое-то время нескольким ссыльным епископам пришлось вместе жить в тесной избе. Как самому младшему владыке Афанасию досталось место за печкой, он в шутку называл себя «епископом запечским». Вскоре его определили на поселение в село Искар в пригороде Усть-Сысольска. Писатель Сергей Фудель, находившийся там в ссылке, запомнил владыку Афанасия, когда он «был еще совсем молодой архиерей, худой, белокурый, очень живой и веселый».
В книге «Воспоминания» Сергей Фудель описал жизнь владыки в ссылке и богослужения, которые епископ Афанасий проводил у себя в избе, устраивая после службы трапезы с разговорами о церковных делах и богословскими спорами. «Для всех ссыльных священников владыка любил делать очень искусные иерейские кресты из картона и бумаги, золотой и серебряной, и священники, когда совершали богослужение, всегда их надевали… За недостатком икон владыка делал и маленькие иконы разных святых из вырезанных где-нибудь их изображений, из материи, картона и бисера. Входишь из кухни в комнату – и в ней обычная картина: тишина, в углу горит лампадка, а за столом владыка или пишет, или клеит иконки. Это при его живом характере вместо разъездов по епархии!» Владыку воспитывали мать и бабушка, обучив в детстве рукоделию, даже вышиванию, и теперь эти навыки очень пригодились.
Первая ссылка епископа Афанасия пришлась на годы, когда советская власть наказывала ссыльных, как при царе, изоляцией от общества и ограничениями «в свободах». Пройдет несколько лет, и всех заключенных без различия возраста, сословий и духовных званий погонят на «горькие работы».
Владыка Афанасий почти ежедневно писал письма матери, через нее обращаясь к своей владимирской пастве. Письма от сына Матроне Андреевне вслух читал диакон Иосиф Потапов, которого она называла своим «вторым сыном», и он же под диктовку писал ответ.
В ссылке владыка Афанасий старался вести монашескую жизнь: проводил богослужения, не ел мяса, соблюдал посты, работал над литургическими заметками.
Когда его перевели в село Керчемье, в пустующей избе на краю леса владыка устроил церковь Всех святых, в земле Российской просиявших. В маленькой матерчатой митре, с деревянным посохом (посохи он тоже делал своими руками), во время богослужений епископ Афанасий и сам был похож на русского святителя из древних времен.
Зимой 1925 года владыку Афанасия отпустили из ссылки, продержав два месяца сверх срока (советская власть всегда будет отмерять ему наказания «с добавкой» – сначала на несколько месяцев, а потом и на несколько лет).
12 апреля в Вербное воскресенье он принимал участие в торжественном погребении Патриарха Тихона в Москве. Более тридцати архиереев и шестидесяти священников служили Божественную литургию в храме Донского монастыря, где стоял гроб с телом Патриарха, а недавно вернувшемуся из ссылки владыке Афанасию выпала честь служить в день похорон всенародную панихиду.
В мае органы ОГПУ потребовали от владыки Афанасия подписку о том, что он больше не управляет епархией. Отношение владыки к обновленцам осталось таким же непримиримым, он по-прежнему считал живоцерковников раскольниками и еретиками.
15 января 1927 года святитель Афанасий снова был арестован как «участник группы архиереев, использовавших Церковь в антисоветских целях», и приговорен к трем годам Соловецких лагерей. Из тюрьмы он писал с присущим ему юмором: «Издание календаря надо прекратить ввиду ареста редактора и конфискации типографии». Под «типографией» подразумевалась изъятая при обыске печатная машинка, на которой владыка перепечатывал богослужебные заметки к церковному календарю, добавляя в него забытые имена русских святых.