В конце 1943 года Рундштедт официально заявил фюреру, что имеющимися в его распоряжении силами длительная оборона побережья невозможна. Фельдмаршал утверждал, что, по его мнению, без крупных танковых и моторизованных соединений бороться с морским десантом союзников бессмысленно. Наконец 10 ноября Гитлер создал войсковую группу «Б» особого назначения, которую возглавил знаменитый фельдмаршал Роммель. Находясь в подчинении у Рундштедта, «Лис пустыни» должен был изучить готовность вермахта к контрудару по противнику и разработать предложения по улучшению обороны Атлантического побережья. Эрвин Роммель, имевший в отличие от Рундштедта печальный опыт борьбы с морскими десантами, предложил новый план обороны. Он считал необходимым уничтожать войска вторжения прямо в полосе прибоя, пока они слабы и беспомощны. Роммель настаивал на создании непосредственно на побережье надежной системы огня и сосредоточении там основных сил, в том числе и танковых дивизий. После долгих препирательств два фельдмаршала пришли к компромиссу: большинство пехотных дивизий и вся артиллерия предназначались для уничтожения противника во время высадки на берег, а танковые и наиболее боеспособные моторизованные дивизии были выделены в резерв, предназначенный для нанесения контрударов в районе десантирования западных союзников.
Всего к моменту вторжения Герд фон Рундштедт располагал двумя группами армий и танковой группой «Запад». Группа армий «Б» под командованием Роммеля общей численностью в 39 дивизий, в том числе 4 танковых, занимала все северное побережье от залива Зюдерзее до Луары. Поскольку командование ожидало вторжения севернее устья Сены, в этом районе была создана самая сильная группировка из 1 танковой и 9 пехотных дивизий. Там же, где действительно высадились союзники, оборону держали 716-я и 352-я пехотные дивизии, боеспособность которых оставляла желать лучшего. Южнее Луары дислоцировалась группа армий «Г» фельдмаршала Бласковица, состоявшая из 16 дивизий.
В Центральной Франции и Бельгии были размещены 3 танковые и 1 моторизованная дивизии СС резерва ОКБ (не подчинявшиеся Рундштедту), готовые нанести удар в том направлении, где будет высаживаться противник. Танковая группа «Запад» ведала боевой подготовкой бронетанковых войск и рассматривалась как резервное управление для объединенных действий всех танковых соединений на главном направлении. 3-й флот люфтваффе, дислоцированный на Западе (также не подчинявшийся Рундштедту), имел 500 самолетов, из которых только 160 машин были готовы к военным действиям. Отсутствие единого руководства всеми немецкими войсками на Западе впоследствии стало одной из главных причин поражения вермахта во Франции.
Утром 6 июня 1944 года, получив сообщение о высадке союзников, Рундштедт приказал двум танковым дивизиям СС резерва Ставки немедленно выступать в Нормандию, но Гитлер отменил распоряжение фельдмаршала. В итоге только 21-я танковая дивизия группы армий «Б» приняла бой с десантом, остановив 6-ю британскую армию уже у Кана. Только в 4 часа дня фюрер разрешил ввести в бой две дивизии СС, а на следующий день бросил в Нормандию весь резерв. Но время было упущено.
2 июля после двух весьма бурных объяснений с Гитлером Герд фон Рундштедт получил дубовые листья к Рыцарскому кресту и в третий раз в своей жизни был отправлен в отставку. Впрочем, она оказалась до крайности похожей на две предыдущие. После раскрытия заговора «Черной капеллы» фюрер назначил Рундштедта председателем суда чести, изгнавшего 4 августа из армии противников гитлеризма. Фельдмаршал недолюбливал Гитлера, прекрасно понимал, что война проиграна, но слепая верность офицерскому кодексу чести заставила его подчиниться. Более того, фон Рундштедт одобрил распространение уголовной ответственности за покушение на фюрера на членов семей заговорщиков. В конце октября 1944 года, вернувшись к командованию вермахтом на Западе, фельдмаршал распространил этот принцип против семей перебежчиков на сторону противника. 19 ноября Кейтель ввел начинание Рундштедта во всем вермахте.
9 сентября 1944 года фюрер вновь назначил Герда фон Рундштедта главнокомандующим немецкими войсками на Западе. Занимавший эту должность в течение нескольких недель после самоубийства Клюге Вальтер Модель остался командующим группой армий «Б».
7 марта 1945 года 9-й танковой дивизии, наступавшей на правом фланге 1-й американской армии в направлении на Ремаген, удалось добиться крупного успеха. Авангард дивизии, преодолев последнюю гряду высот перед Рейном, обнаружил чудом уцелевший мост через реку. Стремительным броском танкисты ворвались на мост и быстро захватили его. Так союзники, сами того не ожидая, перешли Рейн и захватили плацдарм на его восточном берегу. В тот же день Герд фон Рундштедт был в четвертый раз отправлен в отставку. В утешение фюрер наградил фельдмаршала мечами к Рыцарскому кресту.