Возможно, в период с 657 по 662 год, до отъезда из столицы, Константин усовершенствовал управление имперскими провинциями, придав им новую, соответствующую духу времени форму. Представляется, что именно с этого времени появились фемы — новые провинции — единственное мирное деяние за долгие годы войны. Старые провинции, организованные Диоклетианом и слегка модифицированные Юстинианом, были небольшими, и в каждой из них военная и гражданская власть была в руках разных людей. Местный гарнизон был неподконтролен правителю фемы. Нужды затянувшихся персидской и сарацинской войн привели к практической замене гражданских правителей военными. Было необходимо, чтобы люди, которым доверено сохранение империи, могли контролировать местную администрацию и финансы. Новые провинции были немногочисленными и крупными, их правители обладали и военной, и гражданской властью. Их назвали фемами — по названию войск, их занимавших. Изначально фема — это подразделение из 4000 кавалеристов, выделенное для защиты района. Названия оригинальных азиатских фем легко объяснимы.
Anatolikon и Armeniakon — самые крупные из них. Их защищали «армия востока» и «армия Армении».
Фема Thrakesion располагалась дальше на запад. Название означало, что «армия Фракии» была доставлена в Азию, чтобы оказать помощь против сарацин.
Фема — Buccelarion была названа в честь буккелариев, войска, созданного из тевтонов.
Фему Opsikion защищала императорская гвардия.
Фема Cibirhaeote, расположенная вдоль южного берега Малой Азии, была названа по названию города — Киберра.
На западе изначально было три фемы на Балканском полуострове — Thrace, Illyricum, Hellas, и три за его пределами — Ravenna, Sicily, Africa. Каждой фемой управлял стратег, чей военный титул показывает его военный характер. В его распоряжении был собственный военный гарнизон, ядром которого в каждом случае был отряд из 4000 тяжелых кавалеристов. Полные силы двенадцати фем давали 48 000 всадников, а также пехоту, местное ополчение для обороны крепостей и вспомогательные части из варваров разных рас.
Константин — единственный восточный император, уделявший много внимания западным владениям. Его шестилетнее пребывание в Италии и на Сицилии заставило его восточных подданных заподозрить, что он решил восстановить Рим в качестве столицы империи или даже возвеличить до этого положения Сиракузы. Такой проект представляется настолько неудобным с точки зрения географии, что едва ли ему стоит верить. Пусть Константин испытывал личную неприязнь к Константинополю, которой было достаточно, чтобы удерживать его в Европе, но все же переносить столицу империи он не планировал.
Нет никаких сомнений в том, что Константин желал восстановить величие империи в Италии, так же как позаботиться о том, чтобы экзархи и папы не становились слишком сильными и независимыми. Еще до отплытия в Италию его ревность к влиянию папства проявилась в общении с папой Мартином I. Этот папа осмелился в 649 году собрать в Риме синод, который осудил «Типос» Константина. Император не простил ему этого. Он выждал время, приказал экзарху при удобной возможности схватить Мартина и отправить его в Константинополь. Там неудачливого папу судили за оскорбление императора, заковали в цепи и сослали в Крым — в Херсон, где он умер в 655 году.
Константин покинул Босфор в 662 году с большой армией и отплыл в Таранто. Там он высадился и сразу напал на герцогство Беневенто, самое южное из государств лангобардов в Италии. Время нападения оказалось неудачным, поскольку Гримоальд, герцог Беневенто, захватил лангобардскую корону и его сын Ромуальд правил герцогством под его руководством. В виде исключения Павия и Беневенто объединились и были готовы действовать сообща. Лангобардский историк Павел Диакон сохранил подробности кампании Константина, которого он обычно называет Констанс (Констант), как и многие другие авторы. Император захватил, один за другим, все лангобардские города юга Италии, включая Лучеру, главный город Апулии. Он загнал Ромуальда в Беневенто и осаждал там до тех пор, пока тот не отдал свою сестру Гизу в заложницы. Еще Ромуальд обещал платить дань. Император не согласился бы на такие мягкие условия, но узнал, что король Гримоальд со всеми силами лангобардов спешит на помощь.
Покинув Беневенто, Константин направился к Риму, оставив часть армии под командованием изгнанника-перса Шапура (Сапора) для наблюдения за лангобардами. Этот отряд был разбит в Форино. Узнав об этом, император, по-видимому, отказался от идеи отвоевать центральную часть Италии. Он довольствовался визитом в Рим, где его с почтением принял папа Виталиан, встретивший его у шестого мильного камня во главе делегации римского населения и проводивший в город. Но Рим ничего не выгадал от визита императора, которого он не видел две сотни лет. Константин лишил его многих украшений. В частности, он велел снять с Пантеона позолоченную черепицу и отправить ее в Константинополь. Это было в 663 году.