В 1068 г. началось нашествие половцев во главе с ханом Шаруканом. Проиграв битву на реке Альте, Изяслав с братьями бежал, оставив Киев без защиты. 15 сентября 1068 г. киевляне, разграбив дом и подворье Изяслава, освободили Всеслава и провозгласили его великим князем. Когда Изяслав вернулся с польской помощью, Всеслав тайком бежал в Полоцк (апрель 1069 г.).
Изяслав, овладев Киевом, выгнал Всеслава из Полоцка и посадил там своего сына Мстислава (вскоре умершего и замененного братом Святополком). Всеслав бежал, по-видимому, к води, малочисленному финно-угорскому народу, набрал из него войско и 23 октября того же года появился у Новгорода, но был наголову разбит.
В 1071 г. он овладел Полоцком и удержался там, даже проиграв Изяславичам сражение у Голотическа. К 1073 г. стало заметно сближение между Изяславом и Всеславом. Братья Изяслава, Святослав и Всеволод, сочли себя в опасности и изгнали Изяслава из Киева, Всеслава же не тронули. Почему и как испортились у Всеслава отношения с победителями, неизвестно, но в 1077–1078 гг. у него с ними шла упорная борьба. Владимир Мономах совершил в 1083 г. опустошительный поход на Полоцк, не известно, чем вызванный. После этого спокойствие не нарушалось.
Еще при жизни Всеслав, опасаясь борьбы за земельный передел, был вынужден разделить «отчину» между сыновьями, которые, в свою очередь, начали дальнейшее перекраивание территории, что неизбежно привело к раздроблению дотоле единого и мощного княжества. В результате Полоцкое княжество разделилось сначала на 6, а затем и больше уделов. Собственно Полоцк получил старший из сыновей, Давыд.
В 1127 г. киевский князь Мстислав I Владимирович послал огромное войско в Полоцкую землю, опустошил ее и заставил полочан покориться, но ненадолго. В 1129 г. Мстислав выслал всех полоцких князей в Византию и посадил в Полоцке своего сына Изяслава. Правление сыновей Мстислава в Полоцке продолжалось недолго. Уже в 1132 г. в Полоцке снова появился представитель полоцкой линии Рюриковичей, Василько Святославич.
После смерти Василько Святославича началась борьба за Полоцк между представителями трех линий потомков Всеслава Чародея – Витебской, Минской и Друцкой. С этого времени сведения о правителях Полоцка отрывочны, а после 1186 г. и вовсе практически пропадают. В это время Полоцкое княжество постепенно слабело и все больше дробилось; со временем оно начало подпадать под влияние смоленских князей. Часть полоцких городов в конце концов отошла к Смоленску, а владения в низовьях Западной Двины захватили немецкие крестоносцы; в политические дела Полоцка стали вмешиваться, кроме смолян, Чернигов и Новгород; начались нападения литовцев и немцев.
В конце XII в. в Полоцке утвердилась Витебская линия, представители которой правили до 1215 г.
В то же время в Полоцке сел княжить Борис Всеславич из Друцкой линии. Неспособность князя Бориса сдержать наступление литовцев, о котором есть сведения у польского хрониста М. Стрыйковского, а также потеря влияния в землях латышей привели к бунту полочан, отраженного в запутанной «Повести про Святохну». Этим воспользовались смоленские князья. 17 января 1222 г. смоленский князь Мстислав Давыдович захватил Полоцк и посадил там своего племянника Святослава Мстиславича, сына тогдашнего киевского князя. Но около 1232 г. в Полоцке снова сел представитель Витебской линии – Брячислав. Он был последним представителем династии Рюриковичей в Полоцком княжестве.
В русских летописях он упоминается в 1239 г., когда на его дочери Василисе (в крещении Александре) женился будущий великий князь Владимирский Александр Невский.