В то же время дума вовсе не хотела пролития крови «великого Артемона». 4 июля 1676 года Матвеев был назначен воеводой в далекий, захолустный сибирский городок Верхотурье. Можно лишь только догадываться, что пережила по этому поводу царица Наталья Кирилловна. Конечно, здесь было и сочувствие ставшему почти родным Матвееву, и страх за себя.

Но оказалось, что настоящие страхи еще впереди. Такое падение любимца Алексея Михайловича никак не устраивало мстительного И.М. Милославского. Ему надо было полное крушение своего недруга. В думе начались борьба за Матвеева и… обуздание его гонителя. Ю.А. Долгоруков поднимал вопрос о возвращении опального канцлера. Милославские, которые нашли поддержку у Б.М. Хитрово, выступали против. При этом они искали способ, с помощью которого можно было навсегда заставить замолчать защитников Артамона. Так появились доносы о чернокнижии Матвеева.

Чернокнижие, магия, колдовство относились к тем обвинениям, которые вызывали животный страх. Здесь все было непонятно и одновременно понятно – всякое недомогание, болезнь разом получали объяснение и надежду на исцеление, ведь против происков нечистого, с которым связано чернокнижие, существовала всемогущая божественная помощь. Для Матвеева обвинение в чернокнижии было тем более опасно, что еще совсем недавно он отвечал за здоровье государя и его семейства. Может, оттого постоянно и недомогает нынешний государь, что прежний глава Аптекарского приказа не желал ему добра?

Перед таким обвинением даже Долгоруким пришлось умолкнуть. В мае 1677 года последовал новый приговор: Матвеев отправлялся уже не на воеводство, а в ссылку в Пустозерск – место, где под всполохами северного сияния сходились и вели нескончаемые богословские споры знаменитые «пустозерские узники»: протопоп Аввакум и его товарищи.

Опала настигла и Нарышкиных. Братья царицы, Иван и Афанасий, были обвинены в намерении отравить Федора Алексеевича и приговорены к смертной казни, которую царь заменил ссылкой. Пострадали и другие родственники Натальи Кирилловны. Однако полного торжества у Милославских все же не получилось. Нашлись защитники, которые не допустили того, чтобы имя Матвеева было вычеркнуто из боярских списков. Оно повторялось ежегодно с соответствующей пометой на полях об опале.

И.М. Милославский получил под свое начало приказы, которыми руководили Матвеев и К.П. Нарышкин. Больше того, вскоре к нему перешли Иноземный (Иноземческий) и Рейтарский приказы. В итоге в руках Ивана Михайловича сосредоточилось десять приказов! Казалось, что родственник царя, а с ним и вся «партия Милославских» овладели основными рычагами центральной власти. Но не тут-то было! Передавая Ивану Михайловичу приказы, аристократические группировки не просто откупались от него, а одновременно готовили его падение. В полученных приказах сидели враждебные Милославским люди, которые тотчас же, по словам историка В.Н. Татищева, «хитростью к жалобам на него дорогу готовить начали, чрез что вскоре явились к государю жалобы». Интрига имела успех. Милославский с репутацией не справившегося приказного судьи был оттеснен новыми фаворитами. К 1680 году он потерял почти все свои приказы.

Короткое правление Федора Алексеевича не принесло стабильности. Острым оставался вопрос о преемнике болезненного государя. Надежды на рождение наследника не сбывались. В июле 1681 года умерли от родов первая супруга Федора, царица Агафья и новорожденный царевич Илья. Удар для Федора Алексеевича был столь сильным, что он слег. Тотчас заговорили о преемнике. Кого избрать? Родного брата царя, царевича Ивана, который к физической немощи сыновей Милославской добавил еще немощь умственную? Или бойкого Петра Алексеевича, за спиной которого стояли униженные и оттого покладистые Нарышкины? Шведские источники доносят, что в Москве симпатии склонялись на сторону Петра, а «сторонники Ивана и сами называли последнего не иначе как неуклюжим бревном».