Утром 22 июня, объявляя войну Советскому Союзу, Гитлер заявил, что части вермахта и финской армии плечом к плечу стоят в Северной Финлянди. Маннергейм как бы использовал немцев для защиты Финляндии, но старался при этом избегать далеко идущих военных услуг. Фюрер же хотел поставить финнов перед свершившимся фактом и втянуть их в войну. Однако еще до его заявления советская авиация нанесла превентивный удар по финским войскам, которые пока не являлись союзником Германии. Финское правительство заявило Москве протест и объяснило, что оно придерживается нейтралитета. Но советский МИД настаивал, что это финны бомбят территорию СССР, который не предпринимал никаких враждебных действий по отношению к своему северному соседу.
25 июня во время массированного налета на Турку и Хельсинки финские ПВО сбили 26 советских самолетов. Финляндия объявила СССР войну. Боевые действия вооруженных сил Финляндии в основном свелись к возврату территорий, отторгнутых в 1940 году. 31 августа 1941 года части финской армии вышли на старую границу.
22 сентября 1941 года Маннергейм принял командующего немецкой армией «Норвегия» генерал-полковника фон Фалькенхорста, который в рамках операции «Черно-бурая лисица» наступал на Мурманск. Немецкие войска, неприспособленные к условиям Крайнего Севера, несли большие потери. Командующий попросил у Маннергейма подкреплений, но получил отказ.
В конце ноября Черчилль обратился к своему старому другу фон Маннергейму с предложением выступить посредником в улаживании отношений с Советским Союзом. Но кампания в Восточной Карелии развивалась столь удачно, что главнокомандующий промедлил с ответом, а тем временем Англия под давлением Москвы объявила Финляндии войну. Через несколько месяцев немцы усилили давление на генерала фон Маннергейма, уговаривая его предоставить свои войска для захвата Мурманска и железной дороги, по которой помощь союзников поступала во внутренние районы СССР. Главнокомандующий вновь отказался. Очередная попытка склонить Финляндию к более активному участию в войне пришлась на середину 1942 года. Но и в этот раз Гитлеру не удалось уговорить Маннергейма помочь вермахту перерезать железную дорогу из Мурманска. Кроме того, Маннергейм также отказался выдать евреев, скрывающихся в Финляндии от преследования гестапо.
4 июня барону Маннергейму исполнилось 75 лет. Президент Рюти присвоил ему звание маршала, а Гитлер и Кейтель прилетели в Хельсинки, чтобы лично поздравить Маннергейма.
В конце сентября 1942 года Рузвельт в письме Маннергейму ясно дал понять, что наступление финнов на Мурманск может в будущем привести к самым неприятным последствиям. Поэтому 3 февраля 1943 года маршал на закрытом заседании парламента посоветовал как можно скорее выйти из войны. В конце лета 1943 года Советский Союз выступил с мирными предложениями, которые привели к началу переговоров весной 1944 года. Но эти переговоры не достигли положительного результата. Москва потребовала интернирования немецких войск в Лапландии, восстановления границ 1940 года и выплаты контрибуции в размере 600 миллионов долларов. Финляндия не соглашалась на эти предложения, хотя лично Маннергейм считал, что в некоторых вопросах можно пойти на уступки.
9 июня 1944 года Красная Армия перешла в наступление на Карельском перешейке. Маннергейм бросил в бой все имевшиеся у него резервы, но через десять дней советские части взяли Выборг и начали крупномасштабные военные действия в Восточной Карелии. Финское правительство стояло перед выбором: либо капитулировать перед Советским Союзом, либо подписать пакт с Германией и получить военную помощь. В Хельсинки выбрали второе. Правда, договор с Гитлером подписал не парламент, а президент, то есть с его уходом в отставку пакт автоматически терял силу. Немцы смогли предоставить фон Маннергейму лишь артиллерийскую бригаду, несколько эскадрилий и боеприпасы. К 20 июля наступление Красной Армии было остановлено западнее Выборга, и советское командование, отказавшись от намерения захватить Южную Финляндию, стало перебрасывать войска в Прибалтику.