Мы знаем, что территория Монголии в то время переживала очередной длительный период засухи и голода, и весьма вероятно, что бедствия, вызванные этими природными причинами, во многом предопределили политическую нестабильность и недовольство среди северных гуннов, которые вскоре стали очевидны. Начиная с 81 г., всего через пять лет после того, как китайцы устранились от дел в Центральной Азии, мы видим, что значительное число гуннских семей год за годом уходили из-под власти собственного шаньюя и искали убежища либо непосредственно у китайцев, либо у правителя южных гуннов, который был вассалом Поднебесной империи. В 84 г. шаньюй северных гуннов чувствовал себя настолько неуверенно, что объявил китайцам о прекращении всех враждебных действий его подданных в отношении китайцев и предложил заключить с императором Поднебесной договор о мире и дружбе. Это предложение хорошо согласовывалось с политическими принципами последнего, и вскоре соответствующий мирный договор был подписан и вступил в силу.
Но даже установление мира между китайцами и северными гуннами не смогло остановить процесс неуклонного упадка гуннской империи. В следующем 85 г. ее ослабление стало очевидно всем, и непосредственные соседи гуннов согласно старой доброй традиции кочевников воспользовались этой возможностью, чтобы нанести удары своему давнему врагу. Динлины из Сибири и Северо-Восточного Туркестана возобновили набеги на гуннскую территорию с севера, сяньби из Восточной Маньчжурии усилили свои атаки на восточные районы гуннского царства. Несколько кашгарских государств, отказавшись от верности своим восточным хозяевам, напали на гуннов с запада. Последним, но немаловажным стало то, что южные гунны, воспользовавшись ситуацией, атаковали своих сородичей и соперников с юга и смогли захватить большое количество пленных.
Успех южных гуннов привел Китайскую империю в изрядное смущение. Южные гунны были вассалами китайцев и находились в их юрисдикции, и, значит, китайцы, так или иначе, считались ответственными за их действия. Всего год назад китайцы заключили официальный мирный договор с северными гуннами, а теперь эти вассалы затеяли войну с северянами, с которыми Поднебесная империя поддерживала дружеские отношения. Повелитель северных гуннов счел нападения южан подлым предательством и выразил китайским властям официальный протест.
Император Чжан-ди в соответствие со своими антивоенными принципами отнесся к этому протесту с большим сочувствием. Вместо того чтобы воспользоваться слабостью северных гуннов и присоединиться к нападениям на них южных гуннов, он немедленно освободил пленных, которых к нему привел шаньюй южных гуннов, и вернул их хозяину, правителю северных гуннов. Однако этот сочувственный акт не спас северных гуннов от дальнейшей катастрофы. В 87 г. сяньби развернули против них еще одну крупную кампанию, и эта кампания оказалась в высшей степени успешной. Шаньюй был убит, с него сняли кожу, которую сяньби забрали с собой как символ победы. Эта победа показала, что империя северных гуннов находилась на последнем издыхании.
Пока северные гунны шаг за шагом отступали в Монголии, наш старый знакомый Бань Чао с неизменным успехом подрывал их влияние в разных частях Кашгарии. Не будем забывать, что в 77 г., когда император Чжан-ди окончательно утвердился в своей антиимперской позиции, Бань Чао получил приказ немедленно вернуться в Китай. Это стало сильным ударом по амбициям Бань Чао, но на тот момент он чувствовал, что должен повиноваться приказу императора, и подготовился к отъезду из Кашгара, где находилась его резиденция.
Узнав о его планах, жители города пришли в ужас. Командующий местной армии сказал: «Китайский посланник помог нам освободиться от гнета Кучи. Как только он уедет, Куча снова завоюет нас». Не желая оказаться перед лицом такого мрачного будущего, он тут же покончил с собой. Хотя это событие потрясло Бань Чао, он все же отправился в путь. Но по прибытии в Хотан его встретили еще более громкие причитания и слезы. Царь этой страны и его придворные обступили Бань Чао и, удерживая его лошадь, взвыли: «Китайский посланник для нас как отец и мать. Не может быть, чтобы он хотел покинуть нас».
Вдохновленный этими выражениями преданности и преклонения, Бань Чао принял дерзкое решение. Категорически отказавшись выполнять императорский приказ, он решил остаться в Кашгарии и сражаться за нее до конца. Заверив хотанцев, что не покинет их в беде, он повернул назад в Кашгар и после того, как восстановил там порядок (после его отъезда в городе воцарился хаос), решил держать свою резиденцию в этом городе столько, сколько его ограниченные силы позволят держать оборону. Тем не менее он понимал, что не сможет удержать город, если не получит подкреплений из Китая.