4-я танковая армия фон Клюге была развернута на западе и северо-западе от Бреста. Уже через неделю после начала военных действий армия Клюге сомкнула кольцо восточнее Белостока, окружив значительную группировку РККА. Затем совместно с другими танковыми группами фельдмаршал Клюге образовал новый котел под Новогрудком и, встретившись под Минском с 3-й танковой группой, продолжил движение на Смоленск. 10 июля передовые отряды 4-й армии вышли к Березине.
Объединенные восточнее Минска в 4-ю армию 2-я и 3-я танковые группы начали наступление на Смоленск и 5 августа после упорных боев сломили последнее сопротивление советских войск. Однако после того как обе танковые группы были выведены из ее состава, армия фон Клюге в районе Ельни перешла к обороне. Весь август Красная Армия пыталась вернуть Смоленск. После ожесточенных боев все атаки были отбиты, но вермахт потерял Ельнинский выступ.
6 сентября Гитлер подписал директиву № 35, которая утверждала возможность победоносного движения на Москву и скорый ее захват. План наступления на Москву получил кодовое наименование «Тайфун». Согласно этому замыслу, три мощные группировки должны были окружить, расчленить и уничтожить главные силы Западного, Брянского и Резервного фронтов, а затем развернуть фронтальное наступление на столицу. Одновременно танковые клинья все шире охватывали Москву с севера и юга. Начавшееся 2 октября наступление вермахта на Москву привело к окружению нескольких советских армий под Вязьмой. Однако бои с окруженными частями РККА закончились только к концу месяца.
Прорвав оборону советских войск на реке Нара, 2 декабря войска Клюге продолжили наступление. Но уже к концу дня в штаб стали поступать донесения, что части вермахта натолкнулись на прочную оборону в лесах под Москвой. Отдельные подразделения 258-й пехотной дивизии пробились в пригороды столицы, однако были остановлены ополченцами. 4 декабря фон Клюге, убедившись в невозможности прорваться к Москве, начал отводить войска, которые за два дня боев понесли тяжелейшие потери.
Гитлер был крайне недоволен провалом наступления. Он решил произвести значительные кадровые перестановки. 18 декабря 1941 года главнокомандующим группой армий «Центр» стал фельдмаршал фон Клюге. Он, как и его предшественник, был противником бесчеловечного отношения к советским военнопленным, резко критиковал многие мероприятия немецких оккупационных властей.
Весной 1942 года Гитлер решил провести наступательную операцию на юге России. Для обеспечения внезапности германское командование провело ряд мероприятий, направленных на то, чтобы скрыть от русских направление главного удара в предстоящей летней кампании. Следовало создать видимость, будто вермахт снова развернет наступление на центральном участке фронта с целью захвата Москвы. Для этого штаб фон Клюге по указанию ОКХ разработал дезинформационную операцию под кодовым названием «Кремль». В соответствии с этим планом была произведена демонстративная аэрофотосъемка московских оборонительных позиций, ложная передислокация частей и штабов, подвоз переправочных средств к водным преградам и даже изготовлены дорожные указатели.
12 октября 1943 года Гюнтер фон Клюге попал в автомобильную катастрофу. Он получил тяжелые повреждения и был отправлен на лечение в Германию.
2 июля 1944 года Гитлер снял Рундштедта с должности командующего войсками Западного фронта, а на его место был назначен Гюнтер фон Клюге.
Еще находясь в Германии, Клюге более года вел переговоры с «Черной капеллой». В начале войны фельдмаршал был полностью предан Гитлеру, но под влиянием длинной череды военных поражений он решил принять участие в заговоре. Последней каплей стало бедственное положение вермахта в Нормандии. Однако Гюнтер фон Клюге заявил, что будет сотрудничать с заговорщиками только после смерти Гитлера.
В ходе кровавой расправы, последовавшей вслед за покушением, были расстреляны и повешены около 5000 офицеров, еще 10 000 были отправлены в концлагеря.
24 июля союзники приступили к проведению операции «Кобра». В конце месяца Клюге доложил Гитлеру, что единственно правильный выход он видит в отводе войск за Сену. Но фюрер не хотел и слышать об этом. Он приказал фельдмаршалу собрать все имевшиеся в Нормандии силы и сбросить противника в Ла-Манш. Понимая, что этот приказ приведет 7-ю армию вермахта к гибели, Клюге все-таки не решился возразить, боясь, как бы его несогласие не навело Гитлера на мысль о причастности главнокомандующего к заговору.
Ночью 7 августа немецкие колонны вклинились в оборону американцев на 5—10 километров и остановились, завязнув в тяжелых позиционных боях. Тем временем союзники начали постепенно окружать войска фон Клюге. Пока фельдмаршал пытался выполнить бессмысленные приказы ставки о наступлении, за его спиной медленно смыкалось кольцо окружения. К 14 августа положение немецких войск стало практически безнадежным, и Клюге самовольно решил отвести войска из котла, чтобы спасти их.