В 1916 году Баграмян принял боевое крещение на Кавказском фронте. Будучи человеком образованным и смелым, он был направлен в школу прапорщиков и после ее окончания получил первое офицерское звание. Воевал против турок в стрелковом и конном полках.

Демобилизовавшись, Баграмян вернулся домой и примкнул к большевикам. Вступив в армянскую Красную Армию в 1920 году, Иван Христофорович принял активное участие в установлении советской власти на территории Закавказья. Через три года он стал командиром кавалерийского полка Армянской стрелковой дивизии, а в 1924 году был отправлен на курсы усовершенствования командного состава в Ленинград. Учился на одном курсе с Г.К.Жуковым и К.К.Рокоссовским. Затем вернулся в свой полк и до 1931 года оставался его командиром.

В 1931 году Баграмян был направлен для продолжения военного образования в Военную академию им. Фрунзе, а после ее окончания получил должность начальника кавалерийской дивизии в Киевском военном округе. Прослужив два года на Украине, полковник Иван Баграмян поступил в Военную академию Генерального штаба, после окончания которой остался преподавать в ней тактику. На преподавательской должности Баграмян оставался до 1939 года, а затем по собственному желанию вернулся в войска.

В 1940 году Жуков, вспомнив о своем сокурснике по академии, забрал Баграмяна к себе в округ, сделав его начальником штаба 12-й армии. Это соединение, состоявшее из выходцев с Кавказа, было одной из первых советских горных армий. Хотя горные части существовали в РККА еще с 1920-х годов, но как крупные формирования они стали создаваться только перед войной.

Перед началом Великой Отечественной войны Ивану Христофоровичу было присвоено звание генерала. Войну он встретил в должности начальника оперативного отдела штаба Киевского Особого округа.

Образованный в первые дни войны Юго-Западный фронт возглавил генерал-полковник Кирпонос, а Баграмян стал начальником штаба этого фронта. В состав фронта входили четыре общевойсковые армии, три механизированных корпуса (22-й, 4-й и 15-й), расположенные вблизи границы, 8-й корпус в резерве и два корпуса в оперативном тылу (9-й и 19-й).

Уже в первый день войны три корпуса, находившихся в резерве, получили приказ штаба фронта выдвинуться северо-восточнее Ровно и нанести удар совместно с 22-м механизированным корпусом (который уже находился там) по левому флангу танковой группы фон Клейста. Пока резервные корпуса подходили к месту сосредоточения, 22-й корпус успел понести большие потери в ходе боев с немецкими частями, а 15-й корпус, расположенный южнее, не сумел пробиться сквозь плотную немецкую противотанковую оборону. Резервные корпуса подходили по одному. Первым на место новой дислокации форсированным маршем подошел 8-й корпус, и ему сразу пришлось в одиночку вступить в бой, так как обстановка, сложившаяся к тому времени в 22-м корпусе, была очень тяжелой. Подошедший корпус имел в своем составе танки Т-34 и КВ, а воинский контингент был хорошо подготовлен. Это и помогло корпусу сохранить боеспособность в ходе боев с превосходящими силами противника. Позже подошли 9-й и 19-й механизированные корпуса и также сразу вступили в боевые действия. Неопытным экипажам этих корпусов, измученным 4-дневными маршами и непрерывными налетами немецкой авиации, было трудно противостоять опытным танкистам немецкой 1-й танковой группы. В отличие от 8-го корпуса они имели на вооружении старые модели Т-2 и БТ, значительно уступавшие по маневренности современным Т-34, к тому же большая часть машин пострадала во время авиационных налетов на марше. Так сложилось, что штабу фронта не удалось собрать для мощного удара одновременно все резервные корпуса, и каждому из них приходилось вступать в бой по очереди. В результате сильнейшая танковая группировка РККА утратила свою ударную мощь еще до того, как возникла действительно критическая фаза боев на южном фланге советско-германского фронта. Тем не менее штабу фронта удалось на время сохранить целостность своих войск, но, когда силы танковых частей были на исходе, штаб отдал приказ об отступлении на старую советско-польскую границу.