В первые же дни оборона войск Западного и Резервного фронтов была прорвана, противник продвинулся в глубину от 15 до 70 километров. Проведенные командованием Западного фронта контрудары не принесли успеха. Это вынудило Конева доложить Сталину о реальности выхода противника в тыл войск первого эшелона и просить его разрешения на отход. Но Сталин не дал такого разрешения, и уже 7 октября немецкие танковые группы соединились в районе Вязьмы, взяв в кольцо войска 19-й, 20-й, 24-й и 32-й армий.

Для расследования случившегося в штаб Конева приехали члены ГКО В.М.Молотов и К.Е.Ворошилов. Дело шло к отдаче Конева под трибунал. Но бывшего командующего спас Г.К.Жуков, назначенный на должность командующего Западным фронтом и взявший Конева своим заместителем.

В середине октября возникла угроза прорыва немецких войск к столице с севера, и Конев, направленный на этот участок, сумел провести контрудар, в результате которого в районе Торжка была разгромлена прорвавшаяся танковая группировка противника.

Это реабилитировало Конева в глазах Сталина, который приказал возложить на него командование вновь созданным Калининским фронтом из войск, действовавших ранее на правом крыле Западного фронта.

Войска Калининского фронта первыми начали контрнаступление против гитлеровских войск и уже 5 декабря прорвали оборону 9-й немецкой армии, а 16 декабря освободили Калинин. К началу января 1942 года войска Конева вышли к Волге северо-западнее Ржева.

Большую часть 1942 года войска Калининского фронта действовали против Ржевского выступа, который Сталин считал важным стратегическим плацдармом противника для нового наступления на Москву. Несмотря на то что войска группы армий «Центр», находящиеся в этом выступе, окружить не удалось, командование вермахта было вынуждено перебрасывать сюда войска с действительно важных стратегических направлений, что облегчило положение действующих там советских войск.

Весной 1943 года Конев был назначен командующим Степным (Резервным) фронтом, силы которого должны были быть введены на втором этапе сражения на Курской дуге. Но уже на первом этапе по приказу Ставки ему пришлось вводить в полосу Воронежского фронта 5-ю гвардейскую танковую и 5-ю гвардейскую армии, сыгравшие решающую роль в сражении под Прохоровкой.

К 13 августа войска Конева подошли к Харькову, прорвали внешнее кольцо его обороны, а через четыре дня завязали бои на его окраине. По приказу Конева город был охвачен почти со всех сторон. По единственной шоссейной и железной дорогам противник стал отходить из Харькова. 22 августа последовал ночной штурм города, и к 12 часам следующего дня город был освобожден. Чтобы не дать немецким войскам опомниться, по приказу Конева был организован авиационный удар по отходящему противнику. 28 августа ему было присвоено звание генерала армии.

23 сентября была освобождена Полтава, а на следующий день был захвачен плацдарм на Днепре северо-западнее Днепродзержинска.

5—8 января 1944 года была успешно проведена Кировоградская операция.

В конце января в результате проведенных операций на стыке 1-го и 2-го (бывшего Степного) Украинских фронтов в районе Корсунь-Шевченко образовался выступ, который Гитлер приказал удержать с целью восстановления обороны по Днепру. Этот выступ Ставка приказала «срезать» командующему 1-м Украинским фронтом генералу Н.Ф.Ватутину и Коневу. Операция проходила с 24 января по 17 февраля. Была окружена и уничтожена группировка генерала Штиммермана. Коневу было присвоено звание Маршала Советского Союза.

В марте войска 2-го Украинского фронта овладели Уманью и форсировали Южный Буг на протяжении 100 км. К концу марта войска вышли на государственную границу, перенеся военные действия на территорию Румынии. К середине апреля войска Конева достигли Карпат, вышли на подступы к Яссам и Кишиневу. Но Коневу освобождать Молдавию и Румынию не пришлось. В мае он был назначен командующим 1-м Украинским фронтом.