Ягайло отдал предпочтение своему родному брату Свидригайло и торжественно венчал его великокняжеской короной в кафедральном виленском соборе в присутствии съехавшихся со всей страны литовских и русских князей и бояр.

Для начала новый князь занял литовские крепости, кроме Вильно, и привел к присяге их гарнизоны на свое имя, не упоминая Ягайло, тем обнаружив свое намерение отложиться от Польши.

Отношения с Ягайло у Свидригайло еще более испортились после того, как поляки, узнав о смерти Витовта, захватили Подолию. В 1431 г. Ягайло приехал в Литву на охоту, что было поводом, главной же его целью было примирение с братом.

Великий князь литовский Свидригайло поначалу обращался с братом-королем с большим почетом. Когда Свидригайло узнал о вероломном захвате поляками Подолии, он немедленно вызвал короля, охотившегося в пущах под Вильно. Как гласит «Хроника Быховца», Свидригайло с гневом сказал Ягайло: «“Милый брат, для чего ты держишь Подольскую землю, отчину той земли Литовской; верни ее мне, а если не хочешь вернуть ее мне, я тебя из Литвы не выпущу”. После этого князь Свидригайло схватил короля Ягайло и посадил под стражу».

Ягайло был вынужден заключить с братом договор, который возвращал ему Подольские земли. Король из Вильно отправил на Подол своего приближенного Тарла Щекоревича с приказом польским магнатам братьям Бучанским, захватившим каменецкий замок, передать Каменец русскому воеводе князю Михаилу Бабе. Обрадованный Свидригайло наградил Тарла сотней гривен и отпустил короля с богатыми подарками в Польшу.

Однако польские вельможи, возможно, с ведома самого Ягайло, надули простодушного Свидригайло. Они написали Бучанским особое письмо, где советовали не исполнять королевского приказа, а Тарла и Бабу заключить под стражу. Письмо это свернули в трубку и облили воском. Сделанную таким образом свечу попросили одного из спутников Тарла передать Бучанским, чтобы они «поискали в ней света». Бучанский сломал свечу, нашел письмо и выполнил поданный ему совет.

Возмущенный Свидригайло отправился с войском на Подол и попытался отвоевать замки силой. Ему удалось взять Червоноград, но Каменец и Смотрич остались в руках поляков. Со своей стороны, польские паны, собранные королем на сейм в Судомире, постановили требовать от Свидригайло уступить не только Подолию, но и город Луцк (на реке Стырь на Волыни) с южной частью Волыни. Кроме того, он должен был прибыть в Польшу и торжественно принести ленную присягу королю.

Старый Ягайло два раза отправлял послов к брату. Главой посольства был пан Ян Лутек Бржеский. Он так дерзко заговорил с великим князем литовским, что тот отвесил послу увесистую плюху и отправил назад. Второй раз приехал тот же Бржеский и опять начал с польских претензий. Свидригайло вновь развернулся и врезал Бржескому, но на сей раз отправил его не домой, а в темницу.

Теперь Ягайло пришлось идти с войском на родную Литву. Поляки осадили Луцк. Жители города отчаянно сопротивлялись. Вскоре полякам пришлось снять осаду и отвести войска. А население в отместку разрушило все католические храмы (костелы) в Луцкой земле.

Поляки и литовцы договорились устроить съезд в городе Парчеве для заключения мира, но Свидригайло туда не приехал. Тогда поляки решили расколоть литовскую знать и увести от Свидригайло наиболее пропольски настроенных панов. Кстати, уже тогда и литовская, и русская знать в Великом княжестве Литовском именовали себя панами.

Ягайло отправил к брату своего посла Лаврентия Заронбу, который официально должен был склонить Свидригайло к миру, а сам начал подговаривать литовских панов к свержению Свидригайло и к принятию к себе в князья брата Витовта Сигизмунда Кейстутовича, князя стародубского. Зоронба успел как нельзя лучше выполнить свою миссию: был составлен заговор, с помощью которого Сигизмунд Стародубский напал на Свидригайло и выгнал его из Вильно. Однако большинство русских земель в Великом княжестве Литовском осталось на стороне Свидригайло. Великий князь тверской Борис Александрович также поддержал Свидригайло. В начале 1432 г. Свидригайло женился на княжне Анне, дочери тверского князя Ивана Ивановича, дяди тверского князя Бориса Александровича.