Романовы были между собой очень дружны, а это как раз и беспокоило Бориса Годунова, он был убеждён, что Романовы мечтают о престоле, он видел в них достойных соперников, и потому боялся их. Раздавая им почести, он при первом же наговоре на Романовых, распорядился взять всех пятерых братьев под стражу. А ведь именно ему их отец, боярин Никита Романович, поручил заботу о них, своих детях, и Годунов дал ему клятву. Их обвинили в том, что якобы они замышляли отравить Бориса, в доме Александра нашли мешочек с кореньями и объявили это ядом. Мистика, но именно в октябре, 26-го числа всех Романовых арестовали. Допрашивали, пытали и их друзей, и слуг, но верные слуги умирали в муках, но говорили о невиновности Романовых. И они были правы! Против них не было ни одной улики.

И всё же, в 1601 году, так и не доказав вины, всех Романовых выслали в разные места, причём разъединили мужей с жёнами и детьми. Фёдора насильно постригли, нарекли Филаретом и сослали в Сийскую Антониеву обитель, недалеко от Холмогор, ему было сорок семь лет. Его супругу Ксению под именем Марфы отправили в Заонежский погост, отобрали детей. Молодой красавец Михаил Романов оказался в земляной яме около Перми, в деревне Ныробка, закованный в трёхпудовые кандалы, его приковали к столбу за пояс, ноги и руки. Василия погнали сначала в Яранск, потом в Пелым тоже в кандалах, там его держали в одной избе с Иваном и, чтобы они не могли подходить друг к другу, их приковали к стене, в разных углах избы. Александра сослали в Усолье-Луду, к Белому морю. Мужа их сестры Марфы, боярина Бориса Черкасского, тоже арестовали, держали «на цепи и в железах, пытали на дыбе». Потом отправили его вместе с Марфой и детьми на Белоозеро. Вместе с ними были отправлены и дети Фёдора, шестилетний Михаил и совсем маленькая дочь Татьяна. Через несколько месяцев Борис Черкасский скончался. Выходило, что Годунов решил уничтожить всех Романовых.

Не выдержав ужасных условий, в 1602 году, первым умер самый младший брат Василий, кандалы ему так изранили ноги, что началась гангрена. Потом ещё два брата сгинули: Александра убили приставы, а Михаил почти год находился в нечеловеческих условиях, в голоде и холоде. Стрельцы не давали ему еды, но местные жители, которые успели его полюбить, тайно подкармливали Михаила, за что многие из них тоже поплатились. По преданию Михаила задушил начальник охраны, которому надоело ждать его смерти. В этой деревне Ныробка в память о страданиях и гибели боярина Михаила Романова поставили часовню, в которую поместили кандалы невинного страдальца. туда и сейчас приезжает много паломников. Только один брат Иван, по позвищу Каша, остался в живых. Его тоже вместе с Василием держали в Пелыме прикованными к стене цепями, через год перевели в Нижний Новгород, но вскоре возвратили в Москву Через четыре года по распоряжению царя Дмитрия гробы Михаила, Василия и Александра были доставлены в Москву и с почетом захоронены в Новоспасском монастыре, уже потом там был построен храм.

Годунов не оставил в покое и Мстиславских, и Шуйских, запретил молодым князьям жениться, боясь, что их дети будут состязаться с его сыном за престол. Это ужасное злодейство Годунова проходило на виду, люди всё видели, и их отношение к нему очень сильно изменилось. Это усугубилось настоящим бедствием, в 1601 году в России начался Великий голод.

Только в конце 1602 года Годунов разрешил Марфе Никитичне, княгине Черкасской, уже овдовевшей, вместе с детьми Фёдора, Михаилом и Татьяной, поселиться в вотчине Романовых, селе Клине. Выпустили и Ивана, четвёртого брата, совсем больного, его содержали в самых ужасных условиях, морили голодом, три месяца он был прикован к стене. Только могучий организм помог ему выжить. Из пятерых братьев Романовых осталось только двое, и то больных, почти сломленных.