Затем отец и сын начали строить планы. Через несколько дней в Тайюань из других мест прибыли старший сын Ли Цзяньчэн, четвертый сын Ли Юаньцзи, (третий сын Ли Сюаньба умер рано) и зять Чай Шао. Пэй Цзи, заместитель начальника дворца Цзиньян (дворец императора Суй Ян-ди), и Лю Вэньцзин, начальник уезда Цзиньян, долгое время были доверенными лицами Ли Юаня, и теперь они также помогали с идеями. В конце все пришли к решению, что вместо Лояна они отправятся прямиком в Чанъань, а в Чанъане будут уважать традицию династию Суй и не разрушать ее, сделав императора Суй Ян-ди тайшан хуан (титул императора, передавшего при жизни престол сыну), а князя Яна Ю новым императором. Заместитель наместника Тайюаня Ван Вэй и Гао Цзюнья услышали, что Ли Юань собирается восстать, и захотели убить его, когда он пошел в Цзиньчи помолиться о дожде. Ли Юань получил секретный отчет, поэтому он оклеветал Ван Вэя и Гао Цзюнью за попытку привести тюрков и убил их обоих. Таким образом, в Тайюане больше не было препятствий. Летом 617 года нашей эры Ли Юань оставил Ли Юаньцзи охранять Тайюань, лично возглавил армию численностью 30 000 человек и направился прямо в Чанъань.

В это время он получил письмо от Ли Ми. Оказалось, что Ли Ми, убив Чжай Чжана, почувствовал, что его статус не имеет себе равных, и когда он узнал, что Ли Юань собирается создать военную силу, он написал письмо о том, что сейчас в мире много героев, но нет лидера, и что необходимо провести собрание, чтобы создать альянс и назначить лидера, который возьмет под контроль всех повстанцев. Прочитав письмо, Ли Юань улыбнулся и сказал своим подчиненным: «Ли Ми зазнается, он хочет быть лидером альянса и самим императором. Ну, я боялся, что Дун Ду пошлет войска, чтобы помешать мне отправиться в Чанъань, поэтому я лучше позволю ему немного погордиться, чтобы сдержать силу Дун Ду. Когда я возьму Чанъань и посмотрю, как птица-рыболов и устрица вцепятся друг в друга, а я стану рыбаком и получу от этого выгоду». Он попросил Вэнь Дая, клерка, написать ответное письмо Ли Ми, в скромном тоне, восхваляя Ли Ми, говоря, что кто еще может быть лидером альянса, если не он. Он сказал, что он уже стар и что ему будет достаточно иметь вотчину, на которую он сможет уйти на пенсию. Когда Ли Ми прочитал письмо, он так обрадовался, что поспешно показал его своим приближенным и сказал: «Ли Юань даже не будет со мной сражаться, если мы возьмем Лоян, трон будет наш!» Затем он взял штурмом восточную столицу Лоян и привязал императорскую армию к Хэнань.

Воспользовавшись сражением между армией династии Суй и армией Ваган в Лояне, Ли Юань призвал своих людей быстро продвигаться в сторону Чанъаня. Когда князь Ян Ю услышал, что Ли Юань приближается, он поспешно послал генерала Сун Лаошэна охранять Хои (современный Хочжоу, провинция Шаньси), а генерала Цюй Тутуна охранять Хэдун, чтобы помешать Ли Юаню пересечь Хуанхэ. Когда Ли Юань прибыл в Хои, он попросил Ли Цзяньчэна и Ли Шиминя отвести людей в засаду под городом, а сам повел свою кавалерию на осаду города. Сун Лаошэн вывел армию из города противостоять ему, но Ли Юань притворился побежденным без нескольких ударов и убежал со своими людьми. Сун Лаошэн погнался за ним, но братья Ли внезапно выскочили со своими войсками и преградили ему путь. Ли Юань тоже развернулся, чтобы присоединиться к схватке. Сун Лаошэн подвергся нападению с обеих сторон, и не смог вернуться в город, был убит на месте.

Ли Юань победил Хои и наградил всех достойных воинов. Некоторые люди были недовольны и говорили: «Ваше превосходительство, Вы даете одинаковую награду тем, кто имеет рабское, и тем, кто имеет благородное происхождение, не нарушение ли это протокола?» Ли Юань ответил: «Жизнь и смерть на поле боя непредсказуемы. Все одинаковы. Как награды могут быть разными? Даже если ты заключенный, ты можешь быть коронованым князем за свои заслуги. Мне все равно, дворянин ты или раб». Ли Юань также приказал не убивать ни пленных, ни тем более простых жителей. Их не только нельзя было убивать, но и тем, кто хотел вернуться в родину Гуаньчжун, давали деньги на дорогу. Это порадовало не только солдат под его командованием, но и пленных. Новость распространилась, многие местные чиновники и солдаты пришли сдаваться. Армия Тайюаня становилась все сильнее, и продвижение проходило особенно гладко.