Рано утром 5 августа, 8 пехотный (генерал-лейтенанта Михаила Бороздина) и 4 кавалерийский корпус армии Багратиона выступили по московской дороге, прикрывавшись кирасирами генерал-майора Отто Кноринга. Для обороны Смоленска поставили 6 пехотный корпус, 27 дивизию Дмитрия Неверовского,3 дивизию Петра Коновницына и полк егерей дивизии Петра Колюбакина. Утром генерал Дохтуров сделал вылазку в предместья и вытеснил оттуда французов в поле. После полудня Наполеон провёл атаку на город, но дальше старой крепостной стены не смог продвинуться, к тому же к нему пришли сведения что Багратион отступил. Поляки пытались залезть на стены крепости, но не имея штурмовых лестниц были отброшены «здесь в рукопашной схватке был заколот генерал Грабовский». Сам генерал Михаил Барклай де Толли находился за рекой и послал на помощь Дохтурову 4 дивизию принца Евгения Вюртембергского и с ним лейб-гвардейский Егерский полк. Именно они помогли отстоять Малаховские ворота. Наполеон выставил против крепости ещё 36 орудий резервной артиллерии, которые непрерывно стреляли ядрами большого диаметра. Наши так же вели прицельный огонь «говорили, что один из батальонов, повёрнутый флангом к русским батареям, потерял целый ряд в своём подразделении от единственного ядра. Двадцать два человека пали разом»