Предложение Филиппа Германского заинтересовало лидеров крестоносцев, в особенности венецианцев. Но крестоносцы уже выступали в поход к городу Задару, и переговоры пришлось отложить.
Вновь в лагере крестоносцев появился германский посол епископ Гальбертштадтский уже в январе 1203 года, когда осада Задара благополучно закончилась. После долгих прений договорённость была достигнута. Венецианского дожа, активно высказывавшегося за поход на Константинополь, поддержал маркиз Бонифаций Монферратский, оперируя к рыцарям исполнить священный долг, оказать помощь незаконно лишённому власти Византийскому царевичу. Тем более, что несчастный царевич обещал щедрое вознаграждение, а у крестоносцев не было средств, чтобы расплатиться с венецианцами за переправу войск в Палестину.
Когда все дела были улажены, рыцари выступили в поход и в начале июля 1204 года подступили к Константинополю. Появление крестоносцев было полной неожиданностью для византийских властей и вызвало большой страх у горожан.
Рыцари приступили к осаде византийской столицы, оперируя к горожанам наличием в их войске законного наследника принца Алексея Ангела. Они с палубы галеры показали горожанам принца Алексея, говоря: «Глядите, вот ваш законный сеньор; и знайте, что мы явились не для того, чтобы содеять вам зло, а чтобы ограждать и защищать вас, если вы поступите, как вам надлежит поступать».
Однако император Алексей III не собирался сдаваться. Крестоносцы приступили к осаде города. Наличие венецианского флота позволило крестоносцам окружить Византийскую столицу с суши и моря.
В середине июля рыцари предприняли большой штурм. Им удалось овладеть частью городских укреплений. Византийским воинам, костяк которых составляла наиболее боеспособная варяго-русская дружина, с большим трудом, удалось отбить укрепления.
Военная мощь рыцарей напугали императора Алексея III. Он решил не испытывать судьбу и спасти свою жизнь бегством. 18 июля ночью император тайно, прихватив казну, на лодке переправился в Андрианополь.
Осаждённый город остался без руководителя. Горожанам ничего не оставалось, как вызволить из темницы свергнутого монарха Исаака II. 19 августа его вновь возвели на трон. Император послал в лагерь крестоносцев своих послов с известием, что узурпатор Алексей III бежал, и власть перешла к законному правителю.
Осада столицы прекратились. Но рыцари не спешили отпускать в Константинополь царевича Алексея. Они не доверяли византийцам и требовали от нового императора гарантий соблюдения договора.
Узнав об условиях договора, выплата 200 тысяч марок серебром, годовое обеспечение рыцарей продовольствием и фуражом, оплата транспортных расходов по перевозки войска в «Святую землю», и содержание в Палестине 500 воинов, император Исаака II пришёл в негодование. Но сделать что-либо он не мог. Ему пришлось подтвердить условия договора.
Принц Алексей вернулся в Константинополь и 1 августа 1203 года был провозглашён соправителем отца под именем Алексея IV.
Правители Византии начали сбор средств. Денег не было, казна была пуста. Пришлось увеличить налоги и отобрать ценности у знати и церкви. Но всё рано средств не хватало. К осени 1203 года было собрана лишь половина обещанной сумму — 100 тысяч марок. Недовольных рыцарей Алексею IV удалось уговорить отсрочить выплату на год.
Грабительская политика императоров отца и сына, их раболепие перед крестоносцами и творимые рыцарями бесчинство вызывали в народе всеобщее недовольство. Возмущённые византийцы стали требовать немедленного изгнания латинян. Обстановка в столице накалялась.
Стремясь не допустить народных волнений, Алексей IV намеревался ввести во дворец рыцарский отряд. О его намерениях стало известно. Алексей IV был свергнут. Его заключили в тюрьму и вскоре умертвили. В это же время умер почти лишившийся рассудка император Исаак II.
Новым правителем Византии стал протовестиарий и ближайший помощник свергнутого императора — Алексей Дука Мурзуфл. 5 февраля 1204 года его короновали в храме Святой Софии под именем Алексея V.
Новый император решил начать с крестоносцами открытую войну. Он потребовал, чтобы франки удалились из страны в восьмидневный срок.
Требования византийцев возмутили, посчитавших себя обманутыми, рыцарей. Военные действия возобновились.
Император Алексей V был смелым воином и лично принимал участие в сражениях. Однако византийцы не желали сражаться. Они трусливо разбегались, едва вступив в бой. В одном из таких сражений Алексей V едва не погиб, брошенный своими воинами.
8 апреля 1204 года Константинополь был блокирован рыцарями с моря. 9 апреля последовал первый штурм города, который был с большим трудом отбит защитниками.