8 апреля 1944 года началась Крымская операция. Для ее проведения в район Крыма была переброшена 2-я гвардейская армия и сосредоточены большие силы артиллерии и бронетанковых войск. Войскам предстояло прорвать долговременную оборону противника, глубина которой составляла 35—40 километров. Операцию планировалось провести силами 4-го Украинского фронта, Отдельной Приморской армии при содействии Черноморского флота. План предусматривал нанесение одновременных ударов с севера и востока в общем направлении на Керчь. В течение пяти дней до начала операции артиллерия проводила мощный обстрел вражеских укреплений, а началу атаки предшествовала двухчасовая артиллерийская и авиационная подготовка. Основная роль в проведении операции отводилась 4-му Украинскому фронту.

После кровопролитных боев 51-я армия, наступавшая с сивашского плацдарма, уже 10 апреля сумела прорвать оборону противника. В прорыв Толбухин сразу же вводит 19-й танковый корпус, который на следующий день занимает Джанкой – важный стратегический пункт немецкой обороны. Опасаясь окружения, немецкое командование отводит войска на юг Крыма и с Керченского полуострова, где наступала Приморская армия. Войска под командованием Толбухина, прорвав оборону 11-й немецкой армии на крымских перешейках, устремились к Севастополю и 9 мая освободили город. Чуть больше месяца понадобилось советским войскам, чтобы разгромить две немецкие армии, и к 12 мая весь Крым был освобожден от немецких частей. Немцы потеряли в Крыму до 100 тысяч человек убитыми и пленными и всю боевую технику.

После окончания Крымской операции Федор Иванович был назначен командующим войсками 3-го Украинского фронта, которым он командовал до самого конца войны.

Одной из наиболее ярких операций, проведенной войсками фронта под командованием Толбухина, стала Ясско-Кишиневская (20—29 августа 1944 года). При разработке плана операции Толбухин предложил нанести главный удар с Кицканского плацдарма южнее города Бендеры. При успешном развитии наступления отсюда был самый короткий путь на соединение с войсками 2-го Украинского фронта. К тому же немцы вряд ли смогли бы предположить, что советское командование начнет наступление с такого крошечного плацдарма (всего 18 километров).

По замыслу Толбухина на плацдарме должны были сосредоточиться основные силы фронта, создав решающее превосходство над войсками противника. Затем мощным ударом прорывалась немецкая оборона, и группировка противника «разрывалась» на две части. В прорыв вводились механизированные соединения и, продвигаясь вперед, вступали во взаимодействие с частями 2-го Украинского фронта.

В первый день операции войска ударной группировки прорвали главную полосу обороны противника и углубились во вражеские позиции на 12 километров. На следующий день советские войска «разделили» 6-ю немецкую и 3-ю румынскую армии и продвинулись в глубь до 30 километров. На третий день войска Толбухина соединились с частями 2-го Украинского фронта, завершив тем самым окружение немецких войск в районе Кишинева. Окружив и уничтожив в ходе Ясско-Кишиневской операции немецкую группу армий «Южная Украина» – 22 немецкие дивизии и румынские части, – советские войска расчистили дорогу на Балканы.

За искусное проведение операции Указом Президиума Верховного Совета СССР от 12 сентября 1944 года Федору Ивановичу Толбухину было присвоено звание Маршала Советского Союза.

Войска 3-го Украинского фронта вышли к границе с Болгарией, и уже 5 сентября Ставка ВГК утвердила план Болгарской операции, предложенный штабом фронта. Через три дня советские части вступили на землю Болгарии, и за десять дней вся территория страны была освобождена от немецких войск. Толбухин был награжден высшим орденом Болгарии «За храбрость».