Рокоссовский прибыл в Москву всего на несколько часов. В Ставке ему обрисовали положение дел, сложившееся на Западном фронте в районе Смоленска. Немцы здесь наступали упорно, стараясь танковыми клещами зажать наши войска, находящиеся в этом районе, и уничтожить их. Кроме этого имелись данные, правда, непроверенные, о выброске крупного десанта в этом районе. Смоленск рассматривался германским командованием как последний серьезный рубеж, крепость на пути к Москве. Гитлеровцы предполагали разгромить здесь советские войска и тем самым открыть себе дорогу к столице.
Смоленское направление обороняли две армии: шестнадцатая генерал-лейтенанта М. Ф. Лукина и двадцатая генерала П. А. Курочкина. Однако они уже не могли остановить прорывающихся к городу немцев. 16 июля гитлеровцы силами 2-й танковой группы заняли южную часть города. На соединение с нею двинулись части 9-й армии. Вскоре защищавшие Смоленск войска были практически окружены. Удавалось удерживать лишь несколько переправ через Днепр.
Ставка и командование Западного фронта решили создать мощную подвижную группу, предположительно состоящую из двух или трех танковых и одной стрелковой дивизий. Ожидалось, что этими силами удалось бы, во-первых, вызволить из смертельного кольца наши соединения, а во-вторых, при их поддержке отодвинуть немцев от Смоленска и организовать там прочную оборону с целью не допустить фашистов к Вязьме и дальше – на Москву. Возглавить эту, пока не существующую, группу и предстояло Рокоссовскому. Он спросил, какие части будут ему подчинены. Ответили, что войска будут переданы позже, а пока – немедленно выехать в расположение штаба Западного фронта, которым командовал маршал С. К. Тимошенко. Генштаб выделил генералу две машины со счетверенными зенитными пулеметами, радиостанцию и группу командиров. В таком составе отбыли из Москвы на фронт и вечером того же дня прибыли в Касну, где располагался командный пункт штаба фронта.
Провели совещание с участием генерал-майора Рокоссовского, маршала Тимошенко, члена Военного совета фронта Н. А. Булганина, начальника политуправления Д. А. Лестева и офицеров штаба. Расчеты показывали, что немцы, сконцентрировав в этом районе крупные танковые силы, намеревались уничтожить основные силы Западного фронта именно здесь, в районе Смоленска. Возможности наших войск были ограниченны ввиду невыгодного оперативного положения, растянутости резервов, которые нередко вводились в бои по частям, а также отсутствия полной и достоверной информации относительно положения на соседних участках фронта.
В результате решили организовывать оборону на ярцевском рубеже, в 60 километрах от Вязьмы. И вновь задал Рокоссовский вопрос о войсках – с кем воевать?! Подумав, Тимошенко ответил, что по прибытии свежих сил необходимые войска будут выделены. А пока следует отправиться в Ярцево, собирая все части, которые будут попадаться по пути… В обычной обстановке такой приказ мог показаться диким. Но в то время в районе Смоленска находилось немалое количество разрозненных отступающих соединений. Поэтому возможность собрать некие боеспособные силы была.
В ночь на 18 июля Рокоссовский выехал в Ярцево. Расчеты оправдались: по дороге ему удалось собрать некоторое количество пехотинцев, артиллеристов, саперов… Вскоре пополнились более организованными соединениями: в группу Рокоссовского (именно так ее стали обозначать на стратегических картах) влилась 38-я стрелковая дивизия полковника М. Г. Кириллова. До этого она входила в состав девятнадцатой армии И. С. Конева, дравшегося рядом, под Витебском. Присоединилась также 101-я танковая дивизия, возглавляемая полковником Г. М. Михайловым. Впрочем, «… людей в ней недоставало, танков она имела штук восемьдесят старых, со слабой броней, и семь тяжелых, нового образца. Во всяком случае, для нас это была большая поддержка»