В 1919 году начинающий писатель поступил в ряды чрезвычайной комиссии в качестве корреспондента Первой конной армии. Документы на имя Кирилла Васильевича Лютова ему помог получить секретарь одесского обкома С. Б. Ингулов – «товарищ Сергей». По документам корреспондент Лютов был русским, что дало ему возможность принимать участие в боевых действиях. Во время пребывания в Первой конной Бабель постоянно вел дневник, ставший основой цикла рассказов о конармии 1923–1926 годов. «Конармия» Бабеля сильно отличалась от красивой легенды, которую сочиняли о буденовцах официальные средства информации. Молодой писатель показал и неоправданную жестокость, и животные инстинкты солдат, которые затмевали слабые ростки человечности, что писатель видел в революции и очистительной Гражданской войне. Без преувеличения можно сказать, что «Конармия» стала документом и литературным шедевром, ради создания которого писатель пожертвовал собой.

Вокруг книги разгорелся нешуточный скандал. Рассказы о Первой конной армии принесли автору славу и одновременно ненависть таких могущественных лиц, как командующий Первой конной армией Буденный: «Требую защитить от безответственной клеветы тех, кого дегенерат от литературы Бабель оплевывает художественной слюной классовой ненависти». Начдив Первой конной армии С. К. Тимошенко, ставший впоследствии маршалом и наркомом обороны, был взбешен, прочитав рассказ «Тимошенко и Мельников». Как-то он сказал одному из друзей Бабеля – Охотникову, – что убьет писателя «к чертовой матери, попадись тот ему на глаза». Когда Охотников решил помирить начдива и Бабеля, он уговорил Тимошенко прийти в гости к автору нашумевшего произведения. Они пришли в Обуховский переулок, где жил писатель, средь бела дня. Исаак Эммануилович работал… Позднее он рассказывал школьному товарищу: «И тут они входят ко мне в комнату, вижу впереди Тимошенко. Ну, думаю, надо хоть перед смертью молитву прочитать».

В защиту бабелевской «Конармии» встал Горький. В рецензии, своих критических статьях он часто повторял, что Бабель описал бойцов Первой конной армии «правдивее, лучше, чем Гоголь запорожцев». Можно с уверенностью сказать, что без вмешательства Горького писатель сразу же попал бы под военный трибунал. «Конармия» была высоко оценена коллегами Бабеля по писательскому цеху: Маяковским, Фурмановым, Андреем Белым и другими. Вскоре появились первые переводы. В 1928 году «Конармия» была переведена на испанский. Во Франции его роман имел оглушительный успех. «Конармией» зачитывались Ромен Роллан, Анри Барбюс и Мартен Дюгар. В числе поклонников творчества Бабеля были Томас Манн, Лион Фейхтвангер. Вопреки недоброжелателям, творчество одесского писателя рассматривалось как самое значительное явление в современной литературе. Литературный критик А. Лежнев писал: «Бабель не похож ни на кого из современников, но прошел недолгий срок – современники начинают понемногу походить на Бабеля. Его влияние на литературу становится все более явным».

Во время Гражданской войны Исаак Бабель чудом остался жив, перенес тяжелое ранение, переболел тифом. Только в ноябре 1920 года он смог вернуться в Одессу. А уже в феврале 1921 года становится редактором журнала «Коммунист» и работает в Госиздате Украины. Несмотря на мировую известность, писатель оставался все таким же скромным и отзывчивым человеком. Его доброта была безграничной. Исаак Бабель раздавал свои галстуки, рубашки и говорил: «Если я хочу иметь какие-то вещи, то только для того, чтобы их дарить». Его тетка Катя часто приходила к людям, которым Бабель имел неосторожность подарить что-нибудь из мебели или семейных реликвий и говорила: «Извините, мой племянник – сумасшедший. Эта вещь – наша фамильная, поэтому верните мне ее, пожалуйста». Именно так ей удалось сохранить кое-что из семейной обстановки. К тому же у Бабеля легко можно было занять денег. А долги знаменитому писателю никто не возвращал. Очень часто писатель сам нуждался в деньгах и поэтому брал предоплату в разных журналах в счет будущих рассказов, не успевая вовремя выполнить заказ. В семейном архиве писателя сохранились запросы, которые посылали ему из различных журналов: «Дорогой товарищ Бабель, когда же мы все-таки получим “Дорогу”? Время течет, читатель читать хочет. Сейчас делаем шестой выпуск, хорошо бы поместить ее там, но срок в срок». Бабель действительно работал очень медленно. Как скульптор, он постепенно отсекал ненужные детали, шлифовал каждое слово, подбирал наиболее яркие способы выражения. Язык его произведений лаконичен и сжат, ярок и метафоричен. В отделе рукописей Российской государственной библиотеки хранится дружеский карандашный шарж Е. Зозули на Бабеля. Текст под рисунком: «И. Бабель задумал новый рассказ. Чувствуется, что он будет написан быстро, всего через какой-нибудь год».