На следующий день после начала немецкого наступления Жуков, как это и предполагалось ранее, вылетел на Юго-Западное направление. Он должен был помочь командующему фронтом М.П.Кирпоносу организовать проведение контрудара по наступающим войскам противника. Контрудар был нанесен, но немецкие войска остановить не удалось, и Жуков вскоре вернулся в Москву, где доложил Сталину об отступлении советских войск в район Минска и Киева. Эти города ни в коем случае нельзя было сдавать, напротив, они должны были стать опорными пунктами для проведения нового контрудара.

Становилось очевидным, что танковые клинья немцев, уже зажавших в кольцо огромную массу советских войск на Львовском и Белостокском выступах, уже не станут останавливаться для их уничтожения, а будут продолжать стремительно двигаться вперед. Им уже удалось захватить огромные запасы горючего, в беспорядке складированного вдоль дорог и предназначенного для предполагавшегося ранее советского наступления. Огромная масса техники Красной Армии выходила из строя, колонны красноармейцев в пешем порядке отступали в глубь страны.

28 июня пал Минск, в районе которого была окружена значительная группа советских войск. Прибегать к репрессиям в отношении наркома обороны и начальника Генерального штаба Сталин не стал, но уже на следующий день (30 июня) Тимошенко был послан командовать Западным фронтом вместо арестованного за поражение генерала Павлова. Верховное командование Красной Армии перешло к Сталину, который стал Верховным главнокомандующим.

10 июля началось Смоленское сражение, разгоревшееся на фронте в 650 километров. Еще раньше, 7 июля, началась битва за Киев, куда устремились германские войска группы армий «Юг». И на западе и на юге удалось замедлить продвижение войск противника, а затем заставить его перейти к обороне. Советским войскам было приказано не отступать ни шагу назад и в плен не сдаваться. Как начальник Генерального штаба Жуков подписал приказ № 270, который говорил о расстрелах за сдачу в плен или за самовольный уход с позиций. Но и сам он понимал необходимость более гибкого руководства войсками и в конце августа доложил Сталину о необходимости отвести большую часть войск Юго-Западного фронта за Днепр. Жуков говорил об опасности ее полного окружения немецкими танковыми группами, а также о необходимости организовать контрудар на ельнинском направлении, где в ходе Смоленского сражения образовался выступ, который командование группы армий «Центр» могло использовать для наступления на Москву. На вопрос Сталина, что же будет с Киевом в случае отвода войск, Жуков определенно ответил – придется оставить. Сталин вспылил, обругал Жукова, тот потребовал своей отставки с поста начальника Генерального штаба. Верховный объявил, что может обойтись и без него, и пусть теперь Жуков сам едет под Ельню и решает там вопрос, который сам поставил.

На следующий день Жуков отбыл в район Ельни, где вступил в командование войсками Резервного фронта. Их основу составляла 24-я армия генерала К.И.Ракутина, но фактическое командование стал осуществлять сам Жуков. 30 августа он начал операцию по ликвидации выступа. Одновременно в районе Смоленска и Рославля были нанесены мощные контрудары по войскам группы армий «Центр». Все это вынудило немецкое командование начать постепенный отвод своих войск с ельнинского выступа, и 3 сентября советские войска вступили в город. Нескольким отличившимся дивизиям было присвоено звание гвардейских, впервые в истории Красной Армии.

Сразу же после окончания операции Жуков был вызван к Сталину, который объявил ему, что назначенный командующим Ленинградским фронтом маршал Ворошилов не справляется со своими обязанностями и потому Жукову необходимо вылететь в Ленинград и принять срочные меры по предотвращению его сдачи немцам. Жуков не мог знать, что почти одновременно с его прилетом в Ленинград Гитлер подписал директиву о блокаде города, но не о его штурме. Этого требовала изменившаяся обстановка на Центральном направлении, где войска группы армий «Центр» начинали новое наступление на Москву. Часть войск группы армий «Север», прежде всего танковые и моторизованные, поворачивали с севера на запад для участия в новом наступлении.