Афанасий Пашков пробыл воеводой «в Даурах» до весны 1662 года. Вообще-то в Москве ему назначили замену еще 20 октября 1559 года, но пока царский указ шёл через всю Сибирь, пока новый воевода, «тобольский сын боярский» Ларион Толбузин добирался в Забайкалье старым путём через Якутск, пока он искал Пашкова на просторах Даурии, прошло более 30 месяцев.
Лишь 12 мая 1662 года в Иргенском остроге Афанасий Пашков прочёл «царёву грамоту» о прекращении его полномочий за Байкалом. Новый воевода привез и царское предписание о возвращении Аввакума в Москву. «Велено ехать на Русь…» — написал об этом в мемуарах Аввакум. Как видим, три с половиной века назад Забайкалье в восприятии русских людей ещё совсем не считалось Россией.
Пашков покинул Иргенский острог в самом конце мая 1662 года. Протопопа он собой не взял, Аввакум поедет «на Русь» отдельно. Однако при всей взаимной ненависти бывший воевода оставил для детей Аввакума «с молоком корову» и нескольких коз — приличное богатство по меркам первых русских обитателей Забайкалья. Об этом факте, не укладывающемся в привычный образ жестокого боярина Пашкова, написал сам Аввакум в первой редакции своего «Жития»…
Позади остались пять тяжких лет — канувшие в небытие амбициозные планы покорения «Китайсково и Богдойсково государств», неудавшееся объединение всех русских сил на Амуре, надрывная рубка леса для будущих острогов, ледяные бесснежные зимы, бесконечная малая война с «тунгусами» и «мунгалами», и голод, столь же бесконечный как просторы к востоку от Байкала.
Из четырех сотен «служилых», пришедших с Пашковым «в Дауры» спустя пять лет осталось в живых 75 человек. Этими малыми силами обороняли три стратегических острога, построенные под руководством Пашкова — Нерчинский, Иргенский и Телембинский (сегодня это село Телемба в Еравнинском районе Бурятии, в 80 километрах не север от Читы).
С точки зрения царского правительства той эпохи Афанасий Пашков не совершил ни подвигов, ни преступлений — ему не полагалось ни наград, ни наказаний. Но почти сразу по возвращении из Забайкалья некогда властный и амбициозный воевода отрёкся от мира, стал монахом и вскоре умер. Монахиней стала и его жена — «боярыня Фёкла Симеоновна», как называет её в мемуарах Аввакум — прошедшая с мужем всю Даурию, не раз помогавшая ссыльному протопопу и его семье. Вдова первого забайкальского воеводы станет игуменьей Вознесенского девичьего монастыря, располагавшегося прямо в московском Кремле.
Вслед за Пашковым вернулся в Москву из Забайкалья и ссыльный протопоп. Ненадолго он вновь попал в фавор к царю. Удивительно, но именно Аввакум — перед тем как его за непримиримость вновь сошлют в уже последнюю, действительно смертную ссылку — совершил постриг в монахи Афанасия Пашкова. Два забайкальских недруга примирились. Как писал в мемуарах Аввакум: «Десеть лет он меня мучил или я ево — не знаю, бог разберёт…»
Пашков не смог выполнить царский «наказ», но оставил в Забайкалье плацдарм из трёх острогов. Узнав о страшном голоде, Москва распорядилась выделить 1200 рублей — внушительную для той эпоху сумму — на покупку хлеба «в корм даурским служилым людям». Всех выживших к востоку от Байкала наградили. И наградили по меркам той эпохи тоже вполне щедро — как гласят архивные документы 1663 года: «Послано нашего государева жалования Даурским служилым людем сукон Анбургских розных цветов, по четыре аршина человеку, да на рубашки и на портки тысяча аршин холстов…» В XVII веке «Анбургским сукном» именовалась самая дорогая импортная ткань, цветная и яркая, обычно шедшая на кафтаны царской охране и столичным стрельцам.
Выжившим «даурским служилым людям» выплатили и повышенное, по сравнению с обычным казачьим, жалование — «против иных сибирских городов с прибавкою…»
Сменивший Афанасия Пашкова на забайкальском воеводстве Ларион Толбузин почти сразу написал в Москву о главной проблеме региона: «…а хлеб в Нерчинском остроге и на Иргень озере не родитца, и без присыльных хлебных запасов в тех острогах служить государеву службу никакими мерами не мочно…»
Первые русские, пытавшиеся жить в Забайкалье, не сразу научились вести здесь сельское хозяйство. Мешали иной климат и непривычные почвы. В годы воеводства Афанасия Пашкова мешало и то, что все силы были брошены на возведение новых острогов и заготовку леса для так и не построенных крепостей по Амуру. Серьёзно помешал и тот факт, что Пашков в голодающем Забайкалье так и не дождался обещанных из Якутска серпов и кос — в «варварской стране» Даурии эти орудия труда было в те годы ни купить, ни сделать.