Но до завершения конфликта было ещё очень далеко. По возвращении в Германию Генрих опять вступил в борьбу с мятежниками. Всякий порядок в стране нарушился; повсюду владычествовало беззаконие; буйные войска грабили, опустошали, резали, и никто не смел требовать от них дисциплины или уважения к закону. Не менее ожесточённая война шла в Италии, где приверженцы Григория избрали в папы Виктора III (1086–1087). Сторонники Генриха выступали вместе с Климентом. Оба папы предали друг друга взаимному отлучению, так что весь западный христианский мир оказался расколотым на два лагеря. После смерти Виктора враги императора провозгласили в 1088 году папой Урбана II (1088–1099). Это был достойный преемник Григория, полностью разделявший его идеи. Он немедленно предал проклятью и отлучению Генриха и Климента III. Через несколько лет Урбан с помощью норманнов вернул себе Рим. Климент бежал. Благодаря подготовке и организации первого крестового похода, авторитет Урбана поднялся очень высоко. Климент, напротив, потерял всякое значение и должен был удалиться в Равенну. Вплоть до самой своей смерти в 1099 году Урбан продолжал числить Генриха отлучённым от церкви. Избранный на его место папа Пасхалий II (1099–1118) также начал с того, что предал проклятью «немецкого короля, не перестающего раздирать хитон Христов» и воодушевлял сторонников на борьбу с ним. Через несколько лет папская партия сумела возмутить против престарелого императора его сына Генриха. В декабре 1104 года Генрих Младший бежал в Баварию и объявил, что не может иметь сношения с отцом, пока с него не будет снято церковное отлучение. Папа Пасхалий приветствовал возвращение принца в лоно церкви. В мае 1105 года на съезде в Нордгаузене он был провозглашён своими сторонниками королём. Баварцы и швабы немедленно восстали и поддержали нового правителя. В августе 1105 года император выступил против сына и встретился с ним в Франконии на реке Реген. Но когда он уже готов был отдать приказ о начале сражения, князья объявили ему, что не будут сражаться против молодого Генриха. Император стал умолять их по крайней мере не отказывать ему в помощи, однако они молча ушли из его шатра. Опасаясь, что его могут схватить, Генрих с небольшим отрядом бежал из своего стана в Майнц. Сын преследовал его. Увидев, что ему нет возможности выдержать осаду, старик поехал в Кёльн. Горожане готовы были поддержать его, и, чтобы избежать трудностей осады, молодой король решил прибегнуть к хитрости. Он договорился встретиться с отцом в Кобленце. Когда старый Генрих увидел сына, он упал перед ним на колени и заклинал его прекратить вражду. Молодой Генрих казался растроганным, сам встал перед отцом на колени и горячими речами убеждал его в своей невиновности. Он говорил, что готов немедленно сложить с себя власть, пусть только император примирится с папой. Генрих отвечал, что согласен на примирение с Пасхалием и что во всём покорится решению сына и князей. Тогда назначено было, что он приедет в Майнц на очередной съезд, и здесь решены будут все спорные вопросы. Генрих поверил сыну. Вдвоём они поехали в Майнц, дружески беседуя. Можно было подумать, что все разногласия между ними исчезли. В Бингене они провели вечер в задушевном разговоре. Наутро был пущен слух, что швабы и баварцы заняли Майнц и угрожают императору расправой. Под этим предлогом сын убедил Генриха отправиться в замок Бекельгейм и здесь подождать, пока он успокоит своих союзников. Но едва император с немногими спутниками оказался за стенами замка, стража заперла ворота и отказалась впустить внутрь его конвой. Так император стал пленником своего сына. Надзор за ним был поручен Гебгарду, епископу Шпейерскому, одному из его злейших врагов. Он заставил своего узника терпеть голод и жажду, подверг его насмешкам и угрозам. Генрих писал, что ему не позволяли даже брить бороду и умывать лицо. В декабре старика привезли в Ингельгейм, и здесь в присутствии князей он отрёкся от власти, объявил, что недостоин королевского сана, и передал сыну государство. Однако он наотрез отказался принести покаяние, которое требовали от него папские легаты. Его сын не имел духу настаивать на этом, так как видел, что многие князья растроганы до слёз унижением их старого монарха. Низложенного императора отправили обратно в Ингельгейм, а сын заступил его место. Спустя немного времени Генрих бежал на корабле в Кёльн. Горожане приветствовали его как законного короля. Он поехал в Люттих. Граждане Бонна, Кёльна, Юлиха и других рейнских городов немедленно взялись за оружие. Герцог Лотарингский нанёс у Визета на Маасе поражение молодому Генриху, который шёл захватить отца в Люттихе. Летом император переехал в Кёльн и стал готовиться к новой войне. В июле сын осадил его в этом городе, но был отражён мужественными защитниками. Вскоре после этой победы Генрих IV умер. Раздор его с церковью продолжался и после смерти. Епископ Люттихский похоронил императора с подобающими почестями. Но молодой Генрих заставил его выкопать гроб и перевезти его в Шпейер, где в течение пяти лет тело умершего лежало непогребённым в деревянном гробу в одной недостроенной и неосвящённой часовне. Только в 1111 году папа Пасхалий снял с мёртвого императора своё проклятье, и останки его наконец нашли последний покой в усыпальнице франконских герцогов.