Тем временем Ливонская война затягивалась, на смену первым блестящим победам пришли тяжкие поражения, продолжение войны требовало крайнего напряжения сил страны. Историки видели причины этого не только во вмешательстве соседних государств – Польши, Литвы и Швеции, но и в полководческом искусстве нового польско-литовского короля Стефана Батория. Все это, конечно, повлияло на ход войны. Но, пожалуй, важнее было то, что России пришлось фактически воевать на два фронта. Южная граница подвергалась непрерывному военному давлению со стороны Крымского ханства. Из 25 лет Ливонской войны только в течение 3 лет не было крымских нападений. Не менее 12 раз крымский хан Девлет-Гирей предпринимал большие вторжения в русские земли значительными силами, по нескольку десятков тысяч всадников, количество же мелких набегов вообще не поддается учету. От «поля» приходилось постоянно держать на «крымской украине» десятки воевод с полками. И в том, что южный фронт выстоял против такого натиска, большая заслуга воеводы Михаила Воротынского.

Но после 1562 г. его имя вдруг исчезает из разрядной книги. Измена князей Вишневецкого и Бельского привела к многочисленным опалам. Пострадали князья Воротынские, они были отозваны с южной границы и заключены под стражу, вотчины их конфискованы. Александра Воротынского сослали в заволжский город Галич, «в тын», а Михаила Воротынского с семьей – в Белоозеро. Опальному «большому воеводе» было разрешено взять с собой только 12 слуг и столько же «черных мужиков» и «женок». Возможно, сыграла роль и близость Михаила Воротынского к Алексею Адашеву, возглавлявшему правительство «избранной рады»: падение правителя тяжело отразилось на судьбе его друзей и сторонников.

Впрочем, содержался в ссылке Михаил Воротынский в довольно хороших условиях, ему ежегодно отпускалось из казны около 100 руб., сумма по тем временам весьма значительная. В 1565 г. Михаил Воротынский получил только в счет «недодачи» за прошлый год 3 ведра рейнского вина, 200 лимонов, несколько пудов изюма, 30 аршин «бурской» тафты и другое добро. И тем не менее ссылка была тяжелым испытанием для Воротынского, потому что она означала отлучение от ратных дел, составлявших смысл жизни прославленного полководца…

К счастью, опала продолжалась недолго. Осенью 1565 г. Михаил Воротынский получил новое высокое назначение: имя воеводы стояло в «росписи» вторым после двоюродного брата царя князя Владимира Андреевича, а сам он был поставлен воеводой большого полка. Ему возвратили Одоевский удел. Перед Земским собором 1566 г. Воротынский вместе с князьями Мстиславским и Бельским официально руководил Боярской думой.

Возвращение Михаила Воротынского не было случайным. В 1567 г. Крым и Польша заключили военный союз. Турецкий султан планировал совместный с крымским ханом поход на Астрахань, присоединенную к Российскому государству. Без такого опытного воеводы, как Михаил Воротынский, на «крымской украине» было трудно обойтись.

1567 г. застал Михаила Воротынского в Серпухове воеводой полка правой руки. 3-тысячная крымская орда пришла тогда на «московские украины», ограбила Северскую землю. В 1568 г. Михаил Воротынский снова в Серпухове воеводой передового полка. В летней кампании этого года ему отводилась ведущая роль.

Воротынский снова возглавил оборону южной границы.

1569 г. принес новые военные тревоги. 17-тысячная турецкая армия при 100 тяжелых пушках, с отрядами крымцев и ногайцев до 40 тыс. человек двинулась на Астрахань. Но все приступы турок были отбиты, немногим из них удалось вернуться в Азов. Астраханский поход провалился.