В 1926—1927 и 1929—1930 годах Толбухин учился на курсах усовершенствования высшего командного состава. В 1934 году он оканчивает оперативный факультет Военной академии им. М.В.Фрунзе.

С февраля по сентябрь 1929 года в целях приобретения командирского стажа Федор Иванович командовал 167-м стрелковым полком в своей же дивизии. Только после этой стажировки он был назначен начальником штаба 1-го стрелкового корпуса, который дислоцировался в Новгороде, затем начальником штаба 19-го стрелкового корпуса, размещавшегося в Ленинграде.

В сентябре 1937 года Толбухина назначают командиром 72-й стрелковой дивизии Киевского военного округа. Уже в июне следующего года его переводят на должность начальника штаба Закавказского военного округа. Под его руководством работа штаба сильно изменилась. Теперь внутриштабные занятия сочетались с выездами в войска, территориальные формирования округа переводились в кадровые. Толбухин лично проверял все важнейшие в военном отношении пограничные районы, состояние дорог, изучал горные перевалы и малодоступные тропы. Большое внимание Толбухин уделял организации управления войсками. За успехи в боевой подготовке в конце 1938 года Федору Ивановичу было присвоено звание комдива, а в июне 1941 года звание генерал-майора.

В первые месяцы Великой Отечественной войны генерал-майор Толбухин назначается начальником штаба Закавказского фронта. Когда советское правительство приняло решение о вводе войск в северные районы Ирана, то благодаря умелой работе штаба, возглавляемого Толбухиным, была обеспечена полная скрытность осуществляемых мероприятий. Тщательно подготовленная операция была проведена внезапно для сопредельной стороны и без существенных потерь.

Немецкие армии стремительно продвигались по советской территории, и уже осенью 1941 года бои развернулись на подступах к Ростову и в Крыму. В конце года военным советом фронта была спланирована Керченско-Феодосийская десантная операция. В ее замысел входила высадка главных сил десанта непосредственно в порту Феодосии прямо с военных кораблей. План операции был разработан под руководством Толбухина, а сама операция прошла в период с 25 декабря 1941 по 2 января 1942 года и закончилась полным успехом.

В конце января 1942 года в состав Закавказского фронта была передана 51-я армия, переправившаяся из Крыма на Таманский полуостров.

В июле 1942 года Федор Иванович Толбухин получил назначение на должность командующего 57-й армией Сталинградского фронта. Его армия сыграла важную роль в битве за Сталинград. В оборонительный период сражения 57-я армия была развернута в междуречье Дона и Волги, преградив немцам подступы к городу на юго-западном направлении. Взаимодействуя с 64-й армией, против которой были направлены основные силы противника, соединения Толбухина остановили продвижение немецких частей в районе Абганерово, Плодовитое, Тингута.

В августе 1942 года 4-я танковая немецкая армия генерала Гота, возобновив наступление, обрушила основной удар на 57-ю армию Толбухина. Свыше трех месяцев соединения армии вели тяжелые оборонительные бои, в ходе которых наиболее полно проявился полководческий талант командующего армией. Толбухину удавалось своевременно предугадывать замысел противника, он умело маневрировал резервами, вовремя выдвигая их на направления главных ударов. Толбухин поражал подчиненных командиров и штабных офицеров своей организованностью, спокойствием, уверенностью в принимаемых решениях, высокой штабной культурой. Он всегда стремился нанести по противнику внезапный удар. В оборонительных боях немцам был причинен значительный урон, и все их попытки прорваться к городу терпели неудачу.