Беспечность турок, оставивших прошлогодние русские фортификационные работы неразрушенными, позволила русским войскам в короткое время подойти на близкое расстояние к крепостным укреплениям. Гордон вёл осаду на правом фланге и как человек, более других понимавший в инженерном деле, смог дать траншеям и батареям желаемое развитие для удачного штурма. С самого начала работы в траншеях были поведены на всех трёх направлениях атак с таким успехом, что на четвёртый день осады войска подошли к крепости на ружейный выстрел.
10 июня была попытка со стороны обороняющихся помешать осаде – татарская конница попыталась напасть на русский лагерь, но окончилась атака полной неудачей: царская конница преследовала татар до реки Кагальника и захватила немало пленных. 14 июня турецкий флот с моря приблизился к устью Дона с целью высадки десанта для атаки на лагерь осаждающих, но так и не решился на высадку. Царь, постоянно оставаясь на галере «Принципіумъ», часто приезжал к осаждающим для инспекции осадных работ, ходил по траншеям, бросал бомбы с батарей, а также совещался с генералами.
Галера «Принципиум». На ней капитаном стал Пётр Алексеев, а команду составила рота Морского регимента из солдат Преображенского полка.
22 июня нижние чины, которым поскорее хотелось победы, выдвинули идею построить подвижный вал, чтобы с ним безопаснее подойти к городскому валу крепости. Предложение было принято на совещании, и с вечера 23 июня, напротив левой части атакуемого фронта, тысяча человек стали насыпать земляной вал. 24 июня произошла вторая крупная попытка со стороны помешать осаде – татарская конница и кубанские нагайцы напали на обозы основных сил русской армии боярина Шеина, но были отброшены и обращены в бегство царской конницей.
29 июня неприятелю на стреле было послано письмо с предложением добровольной сдачи. Турки ответили на это предложение пушечными выстрелами. После этого сооружение вала продолжилось ускоренными темпами. Ров наполнялся грудами перекидываемой земли, и скоро вал осаждающих сблизился с турецкой земляной стеной (валом), окружавшим основную каменную крепость. 15 июля около 1500 донских и часть запорожских казаков самовольно ворвались на турецкий земляной вал и засели в двух бастионах наружной валовой стены. 17 июля произошёл серьёзный многочасовой бой за бастионы, но турки с вала были отброшены обратно в каменную крепость.
18 июля 1696 года был начат штурм крепости, которому предшествовала долгая артиллерийская атака. На следующий день город был взят. Русских ожидала крупная добыча в павшем городе. Однако для стоянки судов Азов был непригоден, из-за чего Пётр указал на мыс «Таганий рог». Именно там и основан был город Таганрог.
Генерал Патрик Гордон в своём дневнике писал:
«Вскоре <…> турки в городе, отчаявшись в поддержке извне и будучи так стеснены нашим валом, примыкающим к ним, и частичным захватом нами двух болверков, пожелали капитулировать. Сие было легко дозволено…».
По этим условиям гарнизон и жители крепости получали свободу, а русские обязывались перевезти их на своих судах до устья Кагальника