Решив покинуть Ольянтайтамбо, Манко тем самым выпускал из рук всю высокогорную часть империи инков. Он понял, что испанская кавалерия непобедима на открытой местности, и оставил большую часть своего народа под властью чужеземцев, из-под которой они так и не вышли по сей день. Отъезд из огромной цитадели был отпразднован трогательными церемониями и жертвоприношениями. Дотошный Педро Сьеса де Леон нашел двух знатных инков, которые, будучи свидетелями, рассказали ему о церемонии и самом отступлении. Вильяк Уму руководил горестным плачем, молебнами, жертвоприношениями, которые проводились на равнине у подножия крепости, а в это время идолов подготавливали к перевозке. Сын Манко Титу Куси вспоминал, что Инка пытался скрасить тяжесть отъезда оживленной беседой. Он говорил, что лесные племена давно уже надоедают ему просьбами посетить их и «он хочет доставить им такое удовольствие на несколько дней». На самом деле в нем еще оставалась какая-то надежда на население этих провинций. У них были большие армии, которые все еще действовали в колья-суйю и в районе Вилькасуамана и Уануко, и немалое количество воинов-новобранцев, которые участвовали в наступлении на Куско прошлой весной, можно было – теоретически – собрать вновь за несколько недель. Но самую большую надежду инкам давали ежедневные сообщения о том, что Писарро собирает в Наске армию, чтобы напасть на Альмагро в его высокогорных владениях. Ужасные оккупанты вполне могли бы истребить друг друга.
Что было нужно Манко, так это неуязвимое, недоступное убежище. На совете, который он провел в Амайбамбе, на перевале за Ольянтайтамбо, он решил попытаться достичь крепости под названием Урокото, которая была построена Инкой Тупаком Юпанки в лесах к востоку от озера Титикака. Но после месяца тяжелого путешествия по лесистой местности Манко решил вернуться и искать убежища в долине Вилькабамбы. Он спустился в долину реки Люкумайо ниже Амайбамбы, и его люди восстановили подвесной мост через реку Урубамба в местечке Чукичака. Он переправился со своими людьми через реку и остановился в городе Виткосе на высокогорном плато в начале долины Вилькабамбы.
Когда Манко покинул Ольянтайтамбо, его люди старательно уничтожили дорогу, ведущую через перевал Пантикалья в Амайбамбу. Но он недооценил своих противников. Альмагро не терпелось завоевать лавры победителя Инки. Как только Родриго де Оргоньес возвратился после своей бескровной победы в Абанкае, Альмагро не мешкая послал его вдогонку за Манко. Оргоньес был одним из самых энергичных и отважных молодых конкистадоров, под его началом было 300 испанских конных и пеших солдат. Чтобы сдержать такого противника, потребовалось бы какое-нибудь более существенное препятствие, чем разобранные дороги. Вскоре люди Оргоньеса достигли Амайбамбы, притом, что значительную часть пути они были вынуждены проделать пешком и с большим трудом обходили места, где горная тропинка была разрушена или на нее были повалены деревья. В Амайбамбе они наголову разбили индейское войско, вышедшее защищать город. Манко скрылся на своем паланкине, переправившись через Урубамбу, и двинулся в город Виткос, приказав уничтожить подвесной мост через реку в Чукичаке. Это было выполнено лишь отчасти: Оргоньес со своими людьми наступал ему на пятки, и много индейцев утонуло, торопясь перебраться через реку. В суматохе Руи Диасу, безбородому и перемазанному краской, и другим пленникам-христианам удалось спрятаться в каких-то постройках и затем присоединиться к своим соотечественникам.
Те немногие испанцы, которые добрались до Чукичаки, были слишком уставшими, чтобы переправляться через реку той ночью: они были пехотинцами, которые вели боевые действия, не имея такого преимущества, как кони. Но на следующий день Оргоньес сам появился возле подвесного моста и начал руководить его починкой. На рассвете следующего дня он перешел через реку, вступил в долину Вилькабамбы, а затем проник дальше вплоть и до самого Виткоса. Его люди обнаружили, что в городе было чем поживиться. Город гордился своим храмом Солнца; теперь в нем толпились испуганные мамаконы. Оргоньес забрал из него изображение солнца, чтобы отвезти его в Куско к Паулью.