Генрих с ужасом увидел, что власть ускользает из его рук. Измена присяге была освящена папой, вменена в обязанность, и прежние приверженцы покидали его. В июне на съезде в Майнце не было никого из южногерманских и саксонских князей, а среди тех, кто приехал, повинуясь зову императора, царила растерянность. Было ясно, что большинство из них скоро тоже его покинут. Тем временем князья и епископы папской партии съехались на съезд в Ульме и решили, что обстоятельства требуют избрания нового короля. Они разослали приглашения всем остальным князьям и епископам, призывая их 16 октября собраться в Трибуре «для восстановления мира в церкви и государстве». Огромное большинство приглашённых приехало в Трибур, и авторитет этого съезда был гораздо выше тех, какие удавалось собирать императору. Семь дней депутаты спорили о том, каким способом спасти государство от погибели. Генрих, находившийся в это время в Оппенгейме, на другом берегу Рейна, совершенно оробел. Он видел, что его покидают даже те люди, которых он осыпал милостями и считал своими верными приверженцами. Он совершенно пал духом, отбросил прежнее высокомерие и каждый день посылал в Трибур своих уполномоченных, обещая исправиться. После долгих дебатов было принято решение обратиться к папе с просьбой, чтобы в феврале следующего года он приехал в Аугсбург и лично разобрал дело Генриха; и потом, если в течение года с него не будет снято церковное проклятие, немедленно приступить к выборам нового государя. Генрих тем временем должен был жить в Шпайере частным человеком, без всяких почестей и в совершенном удалении от государственных дел.
Генрих принял все эти условия, сложил с себя императорские регалии и поселится в Шпайере. Однако опасаясь весьма вероятного торжества своих врагов на соборе в Аугсбурге, он решил не дожидаться папского суда, а самому ехать в Италию. В январе 1077 года он отправился в путь, не имея при себе никого кроме жены и одного немецкого дворянина, единственного сохранившего ему верность. В это самое время папа ехал в Германию на Аугсбургский съезд для суда над Генрихом; но тут узнал о внезапном прибытии императора в Италию и свернул с дороги в укреплённый замок Каноссу, принадлежавший тосканской маркграфине Матильде. Генрих также обратился к ней, прося о заступничестве перед папой. Григорий сначала отвергал все предложения императора и говорил, что дело должно решиться на предстоящем съезде. Наконец он уступил просьбам и согласился впустить Генриха в Каноссу. В покаянной власянице, босиком император вошёл в ворота окружённого тройной стеной замка. Ему дозволили пройти только во внутренний двор, но одному, без провожатых. Стояли жестокие морозы, но это не смягчило Григория. Он заставил Генриха трое суток подряд подолгу стоять у ворот замка, но каждый раз отказывался принимать его. Только на четвёртый день вместе с несколькими другими отлучёнными императора ввели в зал, где находился папа, окружённый кардиналами и друзьями. Генрих бросился на колени и, проливая слёзы, покаялся в грехах. Наконец Григорий поднял его, снял отлучение и допустил в церковь, где сам совершал литургию.
Это свидание, явившееся на первый взгляд великим унижением императорской власти, имело для Генриха благоприятные последствия. Немецкое национальное чувство было оскорблено поношением, которому подвергся в Каноссе их государь. К тому же отлучение с императора было снято, и он мог требовать от вассалов прежней покорности. Весной он вернулся в Германию. Отовсюду к Генриху съезжались епископы и князья, уверяя его в своей преданности. Началась упорная война с мятежниками. Она изобиловала многими трагическими поворотами, но была в общем успешна для императора. В марте 1081 года Генрих выступил походом в Италию. Вся Ломбардия, давно уже враждовавшая с Григорием, приняла его сторону. В Тоскане у него также нашлось много сторонников. Римляне поначалу оказали Григорию горячую поддержку, но потом, раздражённые его упорством и несговорчивостью, также покорились Генриху. В марте 1084 года император созвал собор духовных и светских сановников своего войска, который объявил Григория низложенным. Папой был провозглашён Климент III (1084–1100). Через десять дней он торжественно короновал Генриха императорской короной. Изгнанный из Рима Григорий скончался в мае 1085 года в Салерно.