Поначалу Луи скучал по дому, но затем колония стала ему даже нравиться. Там был духовой оркестр и хор. Сначала Армстронг записался в хор, потом попросил руководителя Питера Дэвиса взять его в оркестр. Не зная никакой музыкальной грамоты, он быстро, на слух научился играть на тамбурине, альтгорне, корнете. Необычайная музыкальная одаренность Луи была очевидна с самого начала. Питеру Дэвису очень понравился Армстронг, как позднее он нравился многим, с кем его сводила судьба. Вскоре Армстронг стал ведущим музыкантом оркестра. Сам он позже говорил, что Дэвис учил его понимать важность правильного извлечения звука, находить верный тон, и эти уроки были очень полезны.

Через три года отец забрал Луи из колонии. Мальчику было уже почти шестнадцать, и он считал себя мужчиной. За 75 центов в день он нанялся развозить и продавать уголь. А когда была возможность, играл на корнете в барах Сторивилля – 1 доллар 25 центов за вечер плюс чаевые. Так он стал главным кормильцем семьи и оставался им всю жизнь.

Его музыкальное мастерство стремительно росло. Он с друзьями организовал маленький оркестр, который играл в дешевых барах и на вечеринках. В это же время Армстронг много общался с музыкантами старшего поколения, учился некоторым профессиональным приемам, совершенствовал технику исполнения. В восемнадцать лет он стал ведущим корнетистом в одном из лучших джаз-оркестров Нового Орлеана. В течение последующих пяти лет музыкант перебивался случайными заработками в различных городских оркестрах, совершенствовал свое мастерство. Играл он и на старых колесных речных пароходах, использующихся в качестве плавучих театров. В восемнадцать лет он женился на женщине по имени Дейзи Паркер, которая была на несколько лет старше его. Брак этот не был удачным и вскоре распался.

В 1922 году по приглашению своего друга Джо Оливера Армстронг переезжает в Чикаго. Его популярность стремительно растет. Спустя некоторое время музыканту удалось записать первые грампластинки. Друзья долго уговаривали его создать собственный оркестр, но он отказывался, не желая обидеть Оливера, которому был искренне благодарен. Ни тогда, ни позже Армстронгу не было свойственно доставлять людям неприятности.

1924 год был насыщен событиями. В начале года Луи Армстронг женился на Лилиан Хардин, пианистке из оркестра Оливера. У нее было классическое музыкальное образование, но в джазе она не преуспела, хотя и разбиралась в нем довольно хорошо. Лилиан решила сделать из своего мужа звезду джаза. Она помогла ему освоить чтение нот с листа, убедила оставить оркестр Оливера. Примерно в то же время Флетчер Хендерсон предложил Армстронгу работу в своем оркестре. Хендерсон, величайший в истории джаза первооткрыватель талантов, хотел иметь в своем оркестре солиста, который мог бы сыграть ярко и эффектно, что очень нравилось слушателям того времени. Армстронг принял приглашение и работал с оркестром в течение года. В этом же году выступления музыканта в Гарлеме, негритянском районе Нью-Йорка, произвели настоящую сенсацию.

Проработав год с оркестром Хендерсона, осенью 1925 Армстронг вернулся в кафе «Дримленд» и начал там работать с оркестром, который организовала Лилиан, за семьдесят пять долларов в неделю – баснословный по тем временам гонорар для черного джазмена. Параллельно он играл в театральном оркестре, где выступал как солист. Уже тогда его исполнение отличалось прекрасным звучанием – сильным, чистым, уверенным. Друзья-музыканты по-доброму называли его Сэчмо, имея в виду форму и силу губ.

12 ноября 1925 года Армстронг сделал первую запись из серии грампластинок, известной под названием «Hot Five» и «Hot Seven». Эти записи, ставшие важными вехами в истории джаза, вызвали неописуемый восторг музыкантов и любителей в Соединенных Штатах и Европе и изменили само направление развития этого вида искусства. Так, пластинка «Everybody Loves my Baby» с виртуозными пассажами Армстронга имела ошеломляющий успех и была раскуплена мгновенно.