В апреле 1944 года по рекомендации Гиммлера Шёрнер был произведен в чин генерал-полковника и стал главнокомандующим группой армий «А», заменив на этом посту Эвальда фон Клейста, отправленного в отставку. Через шесть дней после этого его войска были переименованы в группу армий «Южная Украина».
Когда Шёрнер принял на себя командование, группа армий «Южная Украина» отступала на запад. Чтобы сохранить войска, он отдал приказ отступить к Днестру, а затем к Карпатам и румынской границе. Это было непростой задачей, так как большую часть армий составляли пехотные части, которые не имели транспортных средств, но Шёрнеру удалось выбраться с Украины, сохранив свои силы. Еще одной проблемой, которую нужно было срочно решить Шёрнеру, была проблема Крыма, где 17-я армия находилась в изоляции от остальных сил. Шёрнер лично осмотрел оборонительные сооружения на Перекопском перешейке и решил, что они могут выдержать наступление еще некоторое время. Наступление на 17-ю армию советское командование начало в начале апреля силами 30 дивизий и 4 танковых корпусов. 5 немецких и 7 румынских дивизий не смогли сдержать такого натиска и отступили к Севастополю. На просьбу Шёрнера об эвакуации 17-й армии морским путем Гитлер ответил отказом. Продолжая настаивать на эвакуации, Шёрнер делал все что мог для организации обороны Севастополя. Уже к 8 мая даже Гитлер понял всю безысходность ситуации и отдал приказ об эвакуации морем 17-й армии, но было уже поздно. Советские войска взяли Севастополь 13 мая.
В начале июля 1944 года советские войска разгромили группу армий «Центр», а части, входившие в группу армий «Север», начали отступление. Чтобы как-то исправить положение, Гудериан, ставший к тому времени начальником Генерального штаба сухопутных сил, предложил назначить командующим группой армий «Север» Шёрнера, заслужившего славу мастера оборонительных операций. Предложение было принято, и 23 июля 1944 года Шёрнер стал командующим группой армий «Север». Он заменил на этом посту генерала Фрисснера, который был переведен на его место.
В подчинении Шёрнера находилось 30 дивизий, составлявших 18-ю и 16-ю армии и армейскую группу «Нарва». На правом фланге между его частями и остатками группы армий «Центр» оказалась значительная брешь. Войска были измотаны беспрерывными боями, отражая наступление 80 советских дивизий, а резервов практически не было. Шёрнер привык выполнять все распоряжения Гитлера, даже если они были на грани невозможного. От своих подчиненных командиров он требовал того же. «Драконовские методы» руководства и жестокость на какой-то срок помогли Шёрнеру удержать фронт от развала, но все равно к концу июля войска 1-го Прибалтийского фронта вышли на берег Балтийского моря, и большая часть войск группы армий «Север» оказалась в окружении. Положение Шёрнера было осложнено и тем, что в конце августа из войны вышла Финляндия, позволив советскому командованию высвободить дополнительные части, сняв их с финляндского направления. Против частей Шёрнера к тому времени уже действовало три полных фронта – 130 дивизий, которым он мог противопоставить только 32 дивизии (из них только 2 танковые) и 3 бригады СС.
Несмотря на то что советское командование приостановило наступление на позиции, занимаемые войсками Шёрнера, он понимал, что это только временное затишье. Стратегическое положение его армий оставалось крайне тяжелым. Войска занимали узкую полосу береговой линии, и на все просьбы об эвакуации войск из Эстонии и Восточной Латвии, где были дислоцированы 18-я армия и армейский корпус «Нарва», Гитлер неизменно отвечал отказом.
Советские войска начали новое наступление по всему фронту 14 сентября. На следующий день Шёрнер снова обратился в Ставку с просьбой о начале эвакуации, сказав, что это последняя возможность для организованного отступления и сохранения воинских частей. Кроме того, 16 сентября Шёрнер вылетел в Ставку, чтобы при личной встрече убедить Гитлера дать приказ об эвакуации, и ему это удалось. Вернувшись в расположение своих частей, Шёрнер немедленно приступил к исполнению приказа.
Тем временем 16-я немецкая армия остановила наступление советских частей на Ригу. Шёрнеру удалось подтянуть часть эвакуированных войск из Эстонии в поддержку 16-й армии (11-я танково-гренадерская дивизия СС «Нордланд» прибыла форсированным маршем через четыре дня). Благодаря этим действиям он остановил прорыв советских войск и сократил линию фронта почти в четыре раза. К 27 сентября из Эстонии были выведены все немецкие части и 100 000 эстонцев. Ему в помощь была направлена 3-я танковая армия для защиты Мемеля (ныне Клайпеда). Этот участок фронта обороняла 551-я дивизия, и Шёрнер полагал, что этих сил будет достаточно, проигнорировав директиву Гудериана.