Одерживая победы на суше, Петр, никогда не забывавший о море, разработал для борьбы со шведскими силами в балтийских провинциях новую остроумную тактику с использованием легких суденышек на реках и озерах. Сознавая неоспоримое превосходство шведов в крупных боевых кораблях, Петр решил построить множество мелких судов, которые могли бы одолеть неприятельские эскадры простым численным превосходством. Он начал с небольших гребных судов с одним парусом. Работы велись на крупнейшем в Европе Ладожском озере, где шведы держали эскадру бригантин и галер. 20 июня 1702 года на южной оконечности озера 400 русских солдат на восемнадцати небольших лодках атаковали шведскую эскадру из трех бригантин и трех галер. Шведы оказались в затруднительном положении: когда появились русские лодки, суда стояли на якоре, а большая часть экипажей в это время грабила поселок на берегу. В произошедшей схватке был поврежден шведский флагман, двенадцатипушечная бригантина, и шведам пришлось отступить. 7 сентября та же шведская эскадра вновь подверглась атаке, на этот раз у Кексгольма, тридцатью русскими лодками. С тех пор русские беспрестанно, как шакалы, тревожили шведские суда, и адмирал Нуммерс, решив, что так дело не пойдет, приказал эвакуировать с Ладоги все суда. После того как его флот отступил вниз по Неве, ничто не препятствовало движению русских судов по Ладоге, и это сделало возможным той же осенью одержать победу под Нотебургом.

Тем временем и к югу от Нарвы, на Чудском озере, петровские моряки проводили аналогичные операции. 31 мая того же года почти сотня русских лодок атаковала четыре больших шведских корабля. Шведы отбили атаку и потопили три лодки, но все же были вынуждены отступить к северному берегу. 20 июня и 31 июля были по отдельности атакованы русскими флотилиями два шведских корабля, доставлявших по озеру припасы и амуницию. Одно судно село на мель, и команда по приказу капитана покинула его, предварительно побросав пушки за борт. Второе было взято на абордаж, а затем взорвано. В итоге в 1702 году шведы были полностью вытеснены с Чудского озера. На следующий год они вернулись с большими силами, потопили двадцать русских лодок и восстановили контроль над озером. Но в 1704 году роли опять переменились – на этот раз окончательно. Русские подкараулили шведскую флотилию, стоявшую на якоре на реке Эмбах (Эмайыэге) у Дерпта, установили заграждения там, где река впадала в озеро, а на берегу разместили артиллерию. Любой шведский корабль, которому удалось бы прорваться, поджидали за заграждением 200 русских лодок. Когда тринадцать шведских кораблей спустились вниз по реке, течение понесло их прямо на заграждение. Рурские береговые батареи разнесли все корабли в щепки. Командам удалось высадиться на берег, взять штурмом одну из батарей и пробиться назад в Дерпт. Но все суда были уничтожены и присутствию шведского военного флота на Чудском озере был положен конец. А позднее в том же году русская армия захватила и Нарву, и Дерпт.

Весной 1702 года Андрей Матвеев добыл в Голландии секретные сведения, что летом шведы собираются напасть на Архангельск. Петр решил лично отправиться туда, поскольку хотел быть уверенным в том, что единственный русский порт останется в его руках. В конце апреля он вместе с двенадцатилетним царевичем Алексеем совершил тридцатидневное путешествие на север в сопровождении пяти гвардейских батальонов общей численностью 4000 человек. Сразу после приезда царя оборонительные сооружения привели в порядок и стали ждать неприятеля. Так прошло почти три месяца, в течение которых Петр занимался строительством кораблей: спустил на воду «Святой дух» и «Курьер» и заложил новый двадцатишестипушечный корабль «Илья Пророк».