Еременко постоянно стремился повышать свои военные знания – неслучайно в воспоминаниях он отмечал, что «нелегко было, имея за плечами церковно-приходское училище и полковую школу царской армии, исполнять обязанности начальника бригадной разведки, а затем начальника штаба полка, помощника командира полка по строевой части, начальника штаба бригады, командира полка». После окончания Гражданской войны Еременко был слушателем Ленинградской Высшей кавалерийской школы, а потом в 1923 г. продолжил обучение на Ленинградских кавалерийских курсах усовершенствования командного состава. Его однокурсник Иван Баграмян вспоминал: «Из всех нас, пожалуй, самым упорным был Андрей Иванович Еременко. С редким трудолюбием осваивал он довольно обширную и насыщенную учебную программу. Настойчивость и неутомимость остались у него на всю жизнь и с особой силой проявились в Великую Отечественную войну».

После окончания курсов в декабре 1925 г. А. И. Еременко был назначен на должность начальника штаба 79-го кавалерийского полка в 1-й бригаде 14-й кавалерийской дивизии, а в декабре 1929 г. – на должность командира 79-го (позже – 55-го) полка 14-й кавалерийской дивизии. Спустя два года он окончил курсы командиров-единоначальников при Военно-политической академии РККА имени Толмачева. В 1935 г. А. И. Еременко окончил Военную академию имени М. В. Фрунзе, ему было присвоено воинское звание полковника. В январе 1936 г. он был назначен помощником командира 22-го кавалерийского полка 23-й кавалерийской дивизии 7-го кавалерийского корпуса, через полгода, получив повышение, стал командиром полка.

В июне 1938 г. А. И. Еременко был назначен на должность командира 6-го кавалерийского корпуса, в состав которого были включены части Первой конной армии. Корпус располагался в Белорусском военном округе. После начала Второй мировой войны и разгрома Польши корпус под командованием Еременко участвовал в походе Красной армии в Западную Белоруссию.

4 июня 1940 г. А. И. Еременко был произведен в генерал-лейтенанты, а через пять месяцев назначен командующим войск Северо-Кавказского военного округа, но так и не успел приступить к исполнению служебных обязанностей, потому что по приказу руководства Красной армии через несколько дней был назначен командующим 1-й Краснознаменной армией на Дальнем Востоке.

За три дня до начала Великой Отечественной войны А. И. Еременко получил назначение на должность командующего 16-й армией. Армия, сформированная в июле 1940 г. в Забайкальском военном округе, состояла из 32-го стрелкового и 5-го механизированного корпусов, 126-го корпусного артиллерийского полка и 112-го отдельного зенитно-артиллерийского дивизиона. Задачей армии являлась защита советской границы в Забайкалье. 25 мая командование 16-й армией получило приказ передислоцироваться на Украину. Через три недели в Бердичев прибыли первые армейские части 109-й моторизованной дивизии 5-го механизированного корпуса.

Но Еременко не успел вступить и в командование 16-й армией – 22 июня 1941 г., после нападения Германии на СССР, он был вызван обратно в Москву. Дорога на поезде и самолете заняла несколько дней. Прямо с аэродрома он отправился в Наркомат обороны к маршалу С. К. Тимошенко, где и узнал в полной мере, что именно творится на фронтах: «Когда С. К. Тимошенко кратко охарактеризовал обстановку и показал на карте, какую территорию мы уже потеряли, я буквально не поверил своим глазам». Особо напряженная ситуация сложилась в зоне действия Западного фронта.

– Вот, товарищ Еременко, – сказал Тимошенко, – картина вам теперь ясна.