В общем благополучию Мазепы при Петре Первом ничто не угрожало, однако события в Европе развивались таким образом, что Мазепа испугался наступления шведского короля Карла XII на украинскую границу. Власть гетмана держалась на московских штыках, и в случае поражения России ему бы пришлось несладко.
Историки не знают точной даты начала сепаратных переговоров Мазепы с польским королем Станиславом Лещинским, которого поддерживали шведы. Если верить письму соратника Мазепы, «гетмана в изгнании» Пилипа Орлика митрополиту Яворскому в 1721 году, спустя больше десяти лет после смерти Мазепы, переговоры с поляками и шведами Мазепа начал еще в 1707 году. Орлик также объясняет предательство Мазепы тем, что гетман испугался «слабости России», в которой его убедил отказ Петра Первого предоставить для защиты Украины 10000 солдат. Петр велел Мазепе организовать оборону Украины своими силами. Впрочем, факты версию Орлика опровергают: русские войска не покидали Украину, а когда Карл XII начал наступление на Украину, Петр Первый также сосредоточил там свои лучшие силы.
И хотя Орлик утверждает, что Мазепа присягнул перед крестом в том, что действует не ради своих интересов, а ради малороссийского народа, «расширения прав и вольностей войсковых» и чтобы «отчизна с Войском Запорожским как от московской, так и от шведской стороны не погибли», само содержания договоренностей гетмана со шведами и поляками осталось неизвестным, поскольку оригинал этого договора был уничтожен. Существует версия, что договор этот предусматривал существенное расширение Гетманщины за счет правобережной Украины, а гетман Мазепа стал бы гетманом обеих берегов Днепра под властью слабой Польши. Официальный договор о совместной борьбе против Петра Первого со шведами был заключен Мазепой и кошевым атаманом Гордиенко гораздо позже – 27 марта 1709 года. Следующим договором, заключенным в апреле 1709-го, Карл даровал Мазепе титул «пожизненного князя Украины». Но все это происходило уже после того как в октябре 1708 года Мазепа с 2000 казаков отправился к Карлу XII.
Мазепа долго наблюдал из Батурина за тем, как развиваются события и решал, кого все-таки поддержать – остаться верным Петру или все-таки встать на сторону шведов. Переломной ситуация стала, когда Петр Первый велел Мазепе с казаками присоединиться к русским войскам под Стародубом. Однако Мазепа медлил, ссылаясь на внутриказацкие смуты и болезнь, и продолжал вести переговоры с Карлом. Наконец проведать «больного» Мазепу решил Меншиков. Гетман испугался разоблачения и, захватив гетманскую казну, бежал к шведскому королю.
Потрясенный изменой Мазепы Петр Первый отправил Меншикова с войском на штурм Батурина, где беглый гетман оставил большой отряд своих сердюков (наемников-пехотинцев). Меншиков не просто взял гетманскую столицу, но и подверг ее жесточайшему разгрому.
6 ноября 1708 года на раде в Глухове по настоянию Петра Первого новым гетманом был избран Иван Скоропадский, до этого там же провели символическую казнь гетмана-изменника: с его чучела сорвали ленту ордена Андрея Первозванного, растоптали герб Мазепы, сломали саблю, а само чучело повесили. И уже 12 ноября Мазепа был предан анафеме за клятвопреступление и измену государю. Интересно, что после обретения Украиной независимости неоднократно делались попытки снять с Ивана Мазепы анафему. Особенно усердствовал в этом третий президент Украины Виктор Ющенко, неоднократно обращавшийся по этому поводу во Всеукраинский совет церквей. А в 2018 году Вселенский патриарх Варфоломей провозгласил незаконным и неканоничным акт Русской православной церкви об анафеме Мазепы, поскольку анафема была использована в политических целях.