В это время Византией правила императрица Зоя Багрянородная. По мощеным улицам Харальд направился прямиком во дворец, где предложил свою службу в качестве наемника в варяжской страже. Молодой норвежец был назначен в византийский флот и командовал операциями своих людей, прочесывавших Средиземноморье в поисках пиратов. В то время главой варяжской стражи был родственник царицы – эллин по имени Гигир, – но люди Севера с каждым разом все сильнее подчинялись Харальду, показавшему себя главным храбрецом в битвах. Два предводителя чуть не дошли до драки, споря о том, греки или варяги должны иметь право первоочередного выбора места стоянки и лагеря; здесь, как обычно, Харальд победил, и в конце концов Гигир с греческими войсками вернулся в Константинополь, в то время как варяги, норманны и немногочисленные амбициозные эллины связали свою участь с молодым норвежцем.
Харальд повел свою армию в Северную Африку и в области, которые скандинавы называли Серкландом. Скальды говорят, что в том походе по землям мусульман он взял 80 городов, часть из которых сдалась, а иные были захвачены силой. Харальд сражался так, будто не боялся смерти, и завоевал в пустынных областях большое количество чистейшего золота. Обогатив в том походе своих людей, он направил флот на Сицилийский эмират. На острове был лишь один город, стены которого были столь высоки, что Харальд не мог взять его приступом. Как-то он сидел, рассматривая городские укрепления с варяжских позиций, и увидел, как какие-то маленькие птички, гнездившиеся в городе, летают в лес за едой. Задумав жестокую хитрость, достойную самого Одина, Харальд приказал изловить этих птиц сетями. Люди Харальда покрыли птичек воском и сосновыми щепками и зажгли эти живые свечи. Птицы полетели прямиком в свои гнезда под деревянными крышами города, и вскоре дома один за другим были охвачены пламенем. Жители сложили оружие и сдались на милость Харальда, который на этот раз сохранил им жизни.
Харальд разграбил много других городов, прибегая к хитрости, если силы было недостаточно. Эти похождения принесли ему огромное богатство, и, когда он вернулся в Константинополь, известия о его доблести уже достигли города. Теперь он обратил взор на Святую землю, и все города на его пути к Иерусалиму сдавались варягам, которых он вел за собой. Умывшись по обычаю паломников в реке Иордан, он передал несметные сокровища храму Гроба Господня и очистил пути пилигримов от головорезов и воров.
Теперь, проведя годы в походах на юге, Харальд хотел вернуться в Норвегию, чтобы заявить права на свои земли. Но была одна проблема: императрица Зоя так полюбила своего северянина-военачальника, что не желала и слышать о том, чтобы он покинул варяжскую стражу и уплыл со своей свитой на север. Она обвинила его в том, что он взял себе больше богатств из добычи, завоеванной в походах на врагов Империи, чем было положено, и по ее настоянию император отправил Харальда в заключение. С поста начальника наемного войска Харальд попал в темное подземелье, и большинство людей в этом положении потеряло бы надежду; но во тьме Харальду явился образ его брата Олафа, и он понял, что подмога близка. Кто-то опустил в подземелье веревку, и Харальд спасся. Он направился прямо к верным ему варягам, которые присоединились к мятежу, и вломился со своими людьми в царские покои. Харальд хвалился тем, что он лично нашел императора в его убежище и выдавил ему оба глаза. Его месть была совершена, Харальд с племянницей царицы Зои в качестве заложницы отправился в порт и той самой ночью на двух кораблях, принадлежавших варяжской страже, вышел в Босфор.