Тем временем Жуков новыми крупными силами возобновил наступление в районе между Тернополем и Проскуровом, уже в течение нескольких недель являвшемся ареной упорных боев. Это привело к новому тяжелому кризису на наиболее уязвимом участке группы армий «Юг». Начавшие 21 марта наступление русские войска на третий день прорвали немецкую оборону. Очень сильно растянутой 4-й танковой армии пришлось оставить часть сил в Тернополе, который надлежало удерживать в качестве «крепости», и поэтому она практически уже не могла задержать наступающего на юг и юго-запад противника. В итоге эта армия оказалась отброшенной далеко на запад, и лишь войска ее северного крыла продолжали удерживать оборону, проходившую из района Тернополя через Броды, Луцк до Ковеля. Подтягивавшаяся 1-я танковая армия прибыла слишком поздно, чтобы успеть закрыть зиявшую в немецкой обороне брешь между городами Могилев-Подольский и Тернополь, и сама оказалась охваченной с обоих флангов и затем окруженной в районе Каменец-Подольск, Скала-Подольская. Продвигаясь мимо окруженной 1-й танковой армии, русские к концу месяца достигли Бучача и Днестра в районе Залещиков и, продвинувшись оттуда через Коломыю до Делятина, а также до Черновиц, вышли южнее Черновиц к восточным отрогам Карпат. 1-я танковая армия снабжалась по воздуху и лишь в апреле во взаимодействии со вновь подтянутыми силами, нанесшими удар с запада, смогла выйти из окружения. Однако все это время она сковывала крупные силы противника, в результате чего удар Жукова в южном направлении в значительной мере потерял свою силу.
8-й армии лишь на время удалось задержать силы русских, которые непрерывно просачивались со своих плацдармов между городом Могилев-Подольский и Сороками. 29 марта войска 2-го Украинского фронта вышли к Днестру севернее и южнее Рыбницы, и положение оборонявшихся на Днестре немецких войск стало катастрофическим. Теперь русские на широком фронте вторглись в Бессарабию, достигнув левым крылом города Яссы.
В то время как в течение марта в итоге этих наступательных действий русских войск была разгромлена группа армий «Юг», группа армий «А», также ведя очень тяжелые бои и нередко попадая в критическое положение, в результате атак 3-го Украинского фронта и давления на ее северное крыло оказалась отброшенной от реки Ингулец за реку Тилигул. После захвата Кривого Рога в ходе зимнего наступления еще в конце февраля русские вели в этом районе беспрерывные ожесточенные бои. Для 3-го Украинского фронта важно было, оказывая сильное давление на немецкую оборону между реками Ингул и Ингулец, ударом с севера разгромить находившиеся в этом междуречье немецкие силы, отрезав, помимо того, южное крыло немецких войск в районе Николаев, Херсон. И в этом случае Гитлера невозможно было склонить к своевременной эвакуации последнего бастиона в низовье Днепра, который все равно уже ничем не мог помочь отрезанному Крыму, 1-я танковая и 6-я полевая армии в результате русского наступления вскоре оказались в исключительно тяжелом положении. Части 1-й танковой армии под натиском противника, нанесшего удар из района западнее Кривого Рога в направлении Нового Буга и одновременно начавшего фронтальное наступление севернее Херсона, оказались отброшенными за Нижний Ингулец. Между реками Ингулец и Ингул завязались исключительно кровопролитные бои, выйти из которых немецким дивизиям удалось в середине марта лишь ценою прорыва за Ингул. Оборонявшиеся в районах Херсона и Николаева дивизии 6-й немецкой армии очутились на своеобразном полуострове, образуемом глубокими бухтами, в которые впадают Днепр и Буг. Их отход, который должен был осуществляться через Николаев, в результате русских прорывов и воздействия противника с южного берега Днепра и Кинбурнской косы оказался чрезвычайно трудным и сопровождался большими потерями. 13 марта был оставлен Херсон. Кольцо вокруг Николаева сжималось все теснее, однако город оказался в руках русских лишь в самом конце марта.
Когда в середине марта южное крыло войск Конева уже успело продвинуться у Гайворона за Буг, а центр 3-го Украинского фронта юго-западнее Нового Буга форсировал Ингул, немецкие дивизии все еще продолжали обороняться в районах Новоукраинки и Новоархангельска, образуя далеко выдвинутый за Буг выступ. Теперь их необходимо было в спешном порядке оттянуть за Буг, который они 20 марта под сильным нажимом противника и перешли в районе пока еще удерживавшихся немецкими войсками плацдармов у Первомайска и Вознесенска.
К концу марта 6-я армия, которой тем временем пришлось взять на себя также оборону и участка фронта переброшенной в другой район 1-й танковой армии, отошла за реку Тилигул, где закрепилась на новом оборонительном рубеже, примыкая левым флангом к 8-й армии западнее Ананьева у железной дороги Одесса – Львов. Снятые с этого фронта дивизии были переданы 8-й армии, оборонявшейся между Днестром и Прутом, с целью усилить ее все еще очень слабую оборону и приостановить наступление русских в междуречье и в районе Ясс.