Тогда же возникли древесно-земляные укрепления вокруг Нижнего замка.

В Верхнем и Нижнем замках жили князь с семьей, дружина, богатые витебчане. Взгорский замок – «острог» – заселяли посадские люди – ремесленники, торговцы. Позднее на правом берегу Западной Двины образовалось поселение, названное «Русью». Витебские ремесленники строили речные суда, делали оружие, обувь, одежду, посуду, пеньковые канаты, обрабатывали металлы, камень, дерево, знали гончарное дело.

После смерти полоцкого князя Всеслава Вещего в 1101 году его княжество распалось на отдельные уделы. Было образовано и Витебское княжество, в котором в течение всего XII века княжили потомки Всеслава – до 1114 года Роман, до 1165 года Давид Ростиславич, до 1175 года Всеслав Васильевич, до 1180 года брат Всеслава Брячислав, до 1195 года Василько Брячиславич. Постоянные междоусобицы ослабили Витебское княжество, и оно на некоторое время попало под влияние смоленского князя, но ненадолго.

В 1239 году на дочери Витебского князя Брячислава, последнего из династии полоцких князей Изяславичей – Александре, женился князь Александр Невский. Витебчане участвовали с Александром Ярославичем в Невской битве 1240 года, в Ледовом побоище 1242 года.

С середины XIII века Витебское княжество атаковали литовцы, взявшие город в 1235 году. В 1245 году Александр Невский разбил литовские дружины около Усвят.

С 1263 года Витебское княжество в зависимости от литовского князя Герденя, в 1284–1297 годах – от Смоленска. В конце XIII века в Витебске княжил Михаил Константинович, в начале XIV века – последний витебский князь Ярослав Васильевич, дочь которого, Мария, вышла замуж за Великого князя Литовского Ольгерда Гедиминовича. В 1320 году Ярослав умер и Витебское княжество, перешедшее по наследству к Ольгерду, окончательно вошло в состав Литвы, сохранив, правда, некоторую автономию. Витебские привилегии – уставные грамоты великих литовских князей конца XIV – начала XVI в. гарантировали права и привилегии витебских бояр, духовенства, мещан; наместник князя назначался по согласию с витебской элитой.

К 1351 году было закончено строительство каменных Верхнего и Нижнего замков. За 6 лет до этого Ольгерд передал Витебск своему сыну Андрею. Общая длина замковых укреплений была около 2 километров. Позднее Витебск принадлежал Ягайло, потом – второй жене Ольгерда – Ульянии, из тверского княжеского дома, потом опять Ягайло.

В этот период Витебск – торговый и ремесленный центр на Западной Двине. Витебск торговал с Ригой и Ганзой. Витебские купцы вывозили мед, воск, пеньку, лен, смолу, предметы роскоши. Торговля шла с Москвой, Тверью, Псковом, Новгородом, Чехией, Венгрией, Италией. Город разрастался.

В 1385 году Польша и Литва заключили Кревскую унию – для борьбы против Тевтонского ордена, разгромленного в Грюнвальдской битве 1410 года. Великий князь Литовский Ягайло стал королем Польши и по условиям унии Великое княжество Литовское перестало быть суверенным государством.

В 1386 году против Ягайло выступил Андрей Ольгердович. Его дружины взяли Полоцк и осадили Витебск, но взять город не смогли, и позже потерпели поражение от Ягайло.

В 1393 году Витебск, в котором засел мятежный князь Свидригайло, штурмовали войска Витовта Кейстутьевича. Через месяц осады был взят Нижний замок. Витовт «разбивал мур замку Вышнего беспрестанно», сделал проломы в стенах. Верхний замок был сдан. В 1396 году история повторилась – опять Витовт взял Витебск, выбив оттуда Свидригайло.

После смерти Великого князя Литовского Витовта править стал Сигизмунд Кейстутьевич, против которого опять выступил Свидригайло. В 1435 году полтора месяца войска Сигизмунда осаждали Витебск, в котором заперся Свидригайло. Город был взят. За всю историю Витебск разоряли более 30 раз, но город всегда восставал из пепла.