Но каких-либо реальных действий против Византии Манфред проявить не успел, так как погиб жертвой папской интриги. Папы, видя, что сила Гогенштауфенов после смерти Фридриха II, непримиримого врага папства, ослабла, решили в лице Манфреда нанести ненавистной династии окончательный удар. Исполнителем папских планов явился Карл Анжуйский, брат французского короля Людовика IX Святого. Но папа, призывая Карла занять Сицилийское королевство, имел в виду не только уничтожение Гогенштауфенов, но и ту помощь, которую Карл даст для восстановления Латинской империи на Востоке; по крайней мере, папа выражал надежду, что при помощи Карла «положение империи Романии будет исправлено» (imperii Romani status reformabitur).
Принимая предложение папы вмешаться в южно-итальянские дела, Карл Анжуйский открывал этим эру французских походов в Италию, – эру, столь гибельную для насущных интересов Франции, которая в течение нескольких веков должна была тратить свою энергию и средства на Италию, вместо того, чтобы направлять свои силы и внимание на ближайшие соседние страны, например, на Нидерланды и на Рейн.
Существует немного крупных исторических фигур, которые бы изображались историками в столь мрачных красках и, может быть, не совсем правильно, как Карл Анжуйский. После ряда работ о нем можно теперь навсегда покончить с легендой, которая делала из него настоящего тирана, «жадного, хитрого и злого, готового всегда потопить в крови малейшее сопротивление». Обращаясь к Карлу, папы, по-видимому, не учли отличительных черт в его характере, которые отнюдь не позволяли думать, чтобы он согласился быть лишь простым орудием в руках другого. Это был выдержанный, энергичный, временами суровый до жестокости правитель, не лишенный вместе с тем некоторой веселости, любви к турнирам и влечения к поэзии, искусству и науке и не желавший сделаться игрушкой в руках пригласившего его в Италию папства.
Явившись с войском в Италию, Карл разбил Манфреда при Беневенте (1266 г). Манфред погиб, после чего Сицилия и Неаполь перешли во французское владение. Новым королем Обеих Сицилии стал Карл Анжуйский. Французы толпами стали покидать свою родину и тысячами переселяться в новые владения Карла, где в целом условия для жизни были прекрасны.
Вскоре после этого ясно проявилось отношение Карла к Византии. Он с согласия и в присутствии папы заключил в Витербо, небольшом итальянском городке на севере от Рима, с изгнанным латинским императором Балдуином II договор, по которому последний передал Карлу право на верховную власть над всеми франкскими владениями в прежней Латинской империи, выговорив себе лишь Константинополь и несколько островов в Архипелаге, для отвоевания которых от ромеев ему должен был помочь Карл. Нормандские притязания на Византию снова таким образом ожили в полной мере при французском владычестве в королевстве Обеих Сицилий.
Михаил VIII, понимая всю грозу надвигавшейся против него опасности, прибегнул к целому ряду искусных дипломатических шагов. С одной стороны, путем переговоров с папой об унии между восточной и западной церквами, Михаил как бы отвлекал его от тесного сотрудничества с Карлом и заставлял желать примирительного направления в отношении к Византии. С другой стороны, Михаил решил примириться с генуэзцами, которые, как было упомянуто выше, имели намерение, вступив в сношения с Манфредом Сицилийским, передать Константинополь латинянам, за что и были изгнаны из столицы. Генуэзцы получили разрешение вернуться в Константинополь, где им был отведен определенный квартал не в самом городе, а в его предместье Галате, по ту сторону Золотого Рога. Последнее обстоятельство не помешало генуэзцам возвратить себе все прежние торговые привилегии, расширить сферу своей торговой деятельности и оттеснить на второй план своих соперников венецианцев. Один генуэзец, например, из фамилии Цаккариа, получив от императора право на разработку богатейших квасцовых залежей в горах около малоазиатского города Фокеи (по-итальянски Фоджа, Фолья), лежащего при входе в Смирнский залив, создал себе колоссальное состояние. В результате на всем византийском Востоке при Палеологах Генуя заняла место Венеции.