Одной из наиболее ярких операций, проведенной войсками фронта под командованием Толбухина, стала Ясско-Кишиневская (20—29 августа 1944 года). При разработке плана операции Толбухин предложил нанести главный удар с Кицканского плацдарма южнее города Бендеры. При успешном развитии наступления отсюда был самый короткий путь на соединение с войсками 2-го Украинского фронта. К тому же немцы вряд ли смогли бы предположить, что советское командование начнет наступление с такого крошечного плацдарма (всего 18 километров).
По замыслу Толбухина на плацдарме должны были сосредоточиться основные силы фронта, создав решающее превосходство над войсками противника. Затем мощным ударом прорывалась немецкая оборона, и группировка противника «разрывалась» на две части. В прорыв вводились механизированные соединения и, продвигаясь вперед, вступали во взаимодействие с частями 2-го Украинского фронта.
В первый день операции войска ударной группировки прорвали главную полосу обороны противника и углубились во вражеские позиции на 12 километров. На следующий день советские войска «разделили» 6-ю немецкую и 3-ю румынскую армии и продвинулись в глубь до 30 километров. На третий день войска Толбухина соединились с частями 2-го Украинского фронта, завершив тем самым окружение немецких войск в районе Кишинева. Окружив и уничтожив в ходе Ясско-Кишиневской операции немецкую группу армий «Южная Украина» – 22 немецкие дивизии и румынские части, – советские войска расчистили дорогу на Балканы.
За искусное проведение операции Указом Президиума Верховного Совета СССР от 12 сентября 1944 года Федору Ивановичу Толбухину было присвоено звание Маршала Советского Союза.
Войска 3-го Украинского фронта вышли к границе с Болгарией, и уже 5 сентября Ставка ВГК утвердила план Болгарской операции, предложенный штабом фронта. Через три дня советские части вступили на землю Болгарии, и за десять дней вся территория страны была освобождена от немецких войск. Толбухин был награжден высшим орденом Болгарии «За храбрость».
28 сентября 3-й Украинский фронт вместе с болгарской армией приступил к проведению Белградской операции. Она началась внезапным ударом войск по пограничным укреплениям противника, которые были практически сразу же прорваны. Затем, преодолев Восточно-Сербские горы, войска вышли к реке Мораве. 10 октября 57-я армия 3-го Украинского фронта форсировала реку и продолжила наступление к Белграду. Столица Югославии была освобождена совместными действиями советских и югославских войск. Освобождение Белграда оказало влияние на дальнейший ход войны. Немецкие части стали быстро покидать другие районы страны и даже Грецию, боясь быть отрезанными от территории Германии.
После освобождения Белграда войска Толбухина были перегруппированы в район южнее Будапешта и 20 декабря включились совместно с войсками 2-го Украинского фронта в проведение Будапештской операции. Наступление войск Толбухина привело к окружению противника в районе венгерской столицы, которая была взята 13 февраля 1945 года. Взятие Будапешта открыло войскам Толбухина путь на Вену и к южным районам Германии.
Чтобы сдержать стремительное наступление войск 3-го Украинского фронта, немецкое командование предприняло еще одно крупное контрнаступление в районе озера Балатон. С этой целью в этот район из Бельгии и Франции была переброшена 6-я танковая армия СС. Против войск 3-го Украинского фронта противник сосредоточил 31 дивизию (в том числе 11 танковых), 1 моторизованную бригаду и 4 бригады штурмовых орудий. Немецкие войска с воздуха поддерживали 850 самолетов.
Войска Толбухина по приказу Ставки перешли к обороне с целью измотать противника предварительными боями и нанести ему как можно больший урон. Оборона была построена в два эшелона и занимала в глубину 25—30 километров. В ходе девятидневной Балатонской оборонительной операции (с 6 по 15 марта) войска 3-го Украинского фронта не только отразили вражеское наступление, но и сумели сохранить силы для контрнаступления на немецкие части, расположенные на территории Австрии. Так 9-я и 4-я гвардейские армии даже не были задействованы в Балатонской операции, и именно им предстояло стать ударной группировкой в предстоящем наступлении.
16 марта они двинулись вперед и, взаимодействуя со 2-м Украинским фронтом, овладели западными районами Венгрии. После небольшой перегруппировки сил войска двинулись на Вену и уже 13 апреля заняли столицу Австрии. В ходе боев за австрийскую столицу и на ее подступах советские войска разгромили 11 танковых дивизий, уничтожили или захватили около 1500 танков и самоходных орудий, взяли в плен более 130 тысяч солдат и офицеров противника. Боевой путь 3-го Украинского фронта завершился в предгорьях Альп.
26 апреля Указом Президиума Верховного Совета СССР Федор Иванович Толбухин был награжден высшим военным орденом «Победа».
После окончания войны маршал Толбухин командовал Южной группой советских войск. При этом он занимал должность председателя Союзной контрольной комиссии в Болгарии и Румынии.