В конце июня 1203 года крестоносный флот появился у Константинополя, который тогда, в глазах людей Западной Европы, по словам современного византийского историка Никиты Акомината, «представлял собой в совершенстве знаменитый изнеженностью Сибарис». Участник похода, французский писатель Виллардуэн в таких выражениях описывает глубокое впечатление, произведенное на крестоносцев видом византийской столицы: «Так вот, вы можете узнать, что они долго разглядывали Константинополь, те, кто его никогда не видел, ибо они не могли и представить себе, что на свете может существовать такой богатый город, когда увидели эти высокие стены, и эти могучие башни, которыми он весь кругом был огражден, и эти богатые дворцы, и эти высокие церкви, которых там было столько, что никто не мог бы поверить, если бы не видел собственными глазами и длину, и ширину города, который превосходил все другие города. И знайте, что не было такого храбреца, который не содрогнулся бы, да это и вовсе не было удивительно; ибо с тех пор, как сотворен мир, никогда столь великое дело не предпринималось таким числом людей».
Казалось, что укрепленная столица могла с успехом противостоять не особенно многочисленным крестоносцам. Однако, последние, высадившись на европейском берегу и овладев предместьем Галатой, на левом берегу Золотого Рога, перерезали защищавшую вход в него железную цепь, проникли в гавань и сожгли много византийских судов. В это же время рыцари пошли на приступ самого города. Несмотря на отчаянное сопротивление, особенно со стороны наемных варяжских отрядов, крестоносцы в июле овладели городом. Безвольный и вялый Алексей III бежал из столицы, успев захватить с собой государственную казну и драгоценности. На престоле восстановлен был освобожденный из заключения Исаак II, а его соправителем был объявлен сын его царевич Алексей, приехавший, как известно, с крестоносцами (Алексей IV). Это была первая осада и первое взятие крестоносцами Константинополя в целях восстановления Исаака II на престоле.
Крестоносцы с Дандоло во главе, восстановив Исаака на престоле, требовали от его сына исполнения данных им обещаний, т.е. уплаты крупной суммы денег и отправления в крестовый поход, на чем уже настаивали западные рыцари. Алексей IV, уговорив крестоносцев не оставаться в Константинополе, а расположиться в его предместье, и не имея возможности уплатить всю сумму, умолял их дать ему отсрочку. Это повело к обострению отношений между латинянами и византийцами. В самом городе росло неудовольствие населения против политики императоров, приносивших интересы государства в жертву крестоносцам. В столице вспыхнуло восстание, в результате которого императором был провозглашен в начале 1204 года честолюбивый Алексей Дука Мурзуфл, свергнувший Исаака II и Алексея IV. Первый вскоре умер в темнице, а Алексей IV был, по приказанию Мурзуфла, задушен.
Мурзуфл, известный под именем императора Алексея V, явился ставленником столичной партии, враждебно настроенной к крестоносцам. Последние не имели к нему никакого отношения, а со смертью Исаака и Алексея IV считали себя в отношении к Византии свободными от всяких обязательств. Столкновение между греками и крестоносцами становилось неизбежным. Крестоносцы приступили к обсуждению плана овладения Константинополем, на этот раз уже для себя. В марте того же 1204 года был выработан и заключен договор между Венецией и рыцарями о разделе Византийской империи после ее завоевания. Договор начинался такими внушительными словами: «Прежде всего мы, призвав имя Христа, должны вооруженной рукой завоевать город». Главные пункты договора были следующие: во взятом городе будет латинское правительство; вся захваченная добыча должна быть разделена союзниками между собой согласно условию; затем образованный из шести венецианцев и шести французов совет изберет императором того, кто, по их мнению, лучше может управлять страной «во славу Бога и святой Римской церкви и империи»; императору должна принадлежать одна четверть завоеваний в столице и вне ее, а также два столичных дворца; остальные три четверти завоеваний должны быть разделены пополам между Венецией и рыцарями; распоряжение храмом Св. Софии и избрание патриарха будет предоставлено той стороне, из которой не будет избран император; все рыцари, получившие крупные владения и более мелкие наделы, должны принести императору феодальную присягу; один лишь дож Дандоло будет освобожден от какой-либо присяги императору. Вот те основания, на которых была устроена будущая Латинская империя.