Однако дальнейшие военные действия пошли неудачно в значительной степени вследствие неопытности командиров и неподготовленности войск. Штурм крепости, предпринятый 5 августа, был отбит. Осадные работы продолжались, но без особого успеха. Взрывы мин, закладываемых неопытными инженерами, причиняли гораздо более вреда самим осаждавшим, чем неприятелю. Осаждаемые тревожили осаждавших постоянными вылазками. Иногда на русский лагерь налетала державшаяся неподалеку от Азова татарская конница. Между тем время шло; приближалась осень с непогодами. Предпринят был второй штурм 25 сентября; он кончился так же неудачно, как и первый. Тогда решено было от Азова отступить и отложить его осаду до будущего года. 22 ноября войска вернулись в Москву.

Цель, ради которой поход предпринимался, не была достигнута: Азов не был взят. Но неудача нисколько не поколебала Петра. Наоборот даже, она как будто усилила его энергию и увеличила силу его стремления к намеченной цели. Отступление войск от Азова было предпринято с неизменной мыслью вернуться к нему весной. Приготовления к кампании следующего года начались еще под Азовом: укреплены были каланчи и в них оставлен гарнизон, в Черкасске складываются запасы для будущего похода. Эти приготовления все с возрастающей энергией продолжаются по возвращении в Москву. Уже по мере хода военных действий под Азовом для Петра, несомненно, становились все более ясными причины их неуспеха. Они получили, надо полагать, вполне ясное признание на том военном совете – «консилии генералов», – который имел место по возвращении царя из-под Азова. Эти причины были: во-первых, недостаток знающих искусных инженеров для руководства осадными работами и, в частности, минеров для устройства мин. Второю причиною можно было считать отсутствие у русских флота, который мог бы прекратить подвоз к Азову провианта, снарядов и подкреплений с моря. Наконец, третью причину можно было видеть в отсутствии единства командования войсками осаждающих. Войска эти были разделены на три корпуса под начальством равноправных генералов, которые не всегда бывали между собою согласны и нередко не хотели поддерживать один другого. Сам Петр на себя высшего командования не брал; он держался в стороне, был простым бомбардиром. В конце 1695 и в первые месяцы 1696 годов происходит подготовительная работа к новому походу. Заботы о выписке инженеров из-за границы возложены были на дипломатическое ведомство. Началась ускоренная энергичная постройка флота в Преображенском и в Воронеже. В Преображенском строились галеры – гребные, военные, вооружаемые пушками суда, по образцу галеры, выписанной из Голландии и привезенной через Архангельск и Вологду в Москву. В разобранном виде эти Преображенские галеры должны были перевозиться в Воронеж, где производилась их окончательная отделка, оснастка и вооружение. В самом Воронеже и ближайших к нему городах строились струги – транспортные суда для перевозки к Азову войск. С конца февраля 1696 года Петр уже находится в Воронеже и принимает живое личное участие в этих кораблестроительных работах в качестве простого рядового мастера. «А мы по приказу Божию к прадеду нашему Адаму в поте лица едим хлеб свой», – пишет он с этих работ в Москву. В течение апреля галерный флот в числе 29 судов был спущен с Воронежской верфи на воду и двинулся по Дону к Азову под общим начальством адмирала, каким был назначен любимец царя Лефорт, швейцарец, уроженец самой сухопутной страны в Европе. К тому же времени собрались к Воронежу и сухопутные силы: полки Лефорта, Гордона и A. M. Головина, и отсюда спускались по Дону на стругах. К войскам должны были присоединиться для осады Азова, как и в прошлом году, донские казаки. На этот раз над всеми военными силами был назначен общий главнокомандующий – боярин Алексей Семенович Шеин – и этим назначением был устранен недостаток в общем руководстве, вредивший делу в прошлом году. Но Шеин никакими прежними военными заслугами не отличался и был выдвинут как фигура, за которою скрывался настоящий руководитель всеми военными операциями – сам Петр, взявший на себя по своему обыкновению всю суть дела, а внешний парад и блеск предоставивший другому подставному лицу. Официально же Петр во втором Азовском походе значился «командором» одной из эскадр галерного флота, состоявшей из 8 галер.