Вскоре Хабаров стал одним из самых знатных хлеботорговцев в Якутском уезде. Первые якутские воеводы Головин и Глебов забрали у него в государеву казну безвозмездно целых три тысячи пудов хлеба, а после отписали в нее без всякого вознаграждения и его соляной завод. Отобрали у Хабарова и земли. Горько было на душе Ерофея Павловича, но что делать? Власть она есть власть. Недаром же в народе говорят: власть – наесться всласть.

Пришлось Ерофею поселиться на устье реки Киренги, где он в 1641 году основал селение, впоследствии названное Хабаровкой. Там он тоже развернулся – на новых землях завел обширное хозяйство. Но и тут его не оставил в покое якутский воевода. В 1643 году он снова отобрал у Ерофея Павловича все его владения, а самого за отказ снабжать якутскую казну деньгами посадил в тюрьму. Из тюрьмы Хабаров вышел только в конце 1645 года. Вернулся в Усть-Киренгу и принялся восстанавливать свое разрушенное хозяйство.

А мысль его уже была о другом. Он наслышан был о богатых землях за реками Витимом и Олекмой, о чем в красках рассказывали ходившие туда с отрядами казаков и промышленных людей енисейский казацкий атаман Максим Перфильев и якутский письменный голова Еналей Бахтеяров.

А когда Ерофей послушал Пояркова, и вовсе загорелся мечтою идти на Амур. Ведь, по словам Василия Даниловича, выходило так, что на тех малонаселенных землях всего вдоволь, и земли эти никому не принадлежат. Ерофей Павлович был человеком головастым с большим житейским опытом. Он знал сибирскую географию лучше других, поэтому, изучив случайно попавший ему в руки чертеж с описанием похода Василия Даниловича, тут же сообразил, что есть гораздо короче и удобнее путь на Амур, чем тот, которым ходил Поярков. Но как добиться разрешения у властей пойти в поход на эту загадочную реку?

А тут как раз случай подвернулся. В 1648 году якутский воевода Дмитрий Андреевич Францбеков по пути из стольного града остановился на зимовку в Илимском остроге. К нему-то и обратился с челобитной Ерофей Хабаров. В ней он писал, что знает короткий путь на Амур, и просил дать ему сто пятьдесят человек, которых брался снарядить за свои деньги, и обещал прибыль великую русскому царю. Воеводе Францбекову показались заманчивыми его слова, и через несколько дней он дал оптовщику Ерофею Хабарову «наказ» о походе в Даурскую землю. В этом наказе говорилось, что он, воевода Францбеков, и дьяк Степанов «велят ему Ерофейку идти, и с ним охочим служилым и промышленным людям сту пятидесяти человек, или сколько может прибрать, которые похотят без Государева жалованья идти по Олекме и по Тугирю рекам, и под волок Шилской и на Шилку, на Государевых непослушников».

Речь шла о даурских князьях Лавкае и Батогу, которые отказывались платить ясак русскому царю. Хабарову предписывалось по возможности миром достичь своей цели. И только в крайнем случае ему разрешалось «прося у Бога милости, над ними поиск чинить и промышлять войною». Сам же Ерофей Павлович в своих отписках заявлял о большом желании закрепиться на Амуре «без всякой драки».

Хабарову не удалось собрать нужного числа людей. Только семьдесят человек разного сословия не устрашились идти с ним вместе в далекий поход.

В конце марта 1649 года отряд Хабарова вышел из Илимского острога и все лето провел в пути. К осени добрались до устья Тугира – правого крупного притока Олекмы. Здесь построили острожек, где и решили зазимовать. Но до весны Ерофей не смог усидеть в своем теплом таежном срубе – мечта звала его вперед. Так что в январе 1650 года отряд на нартах со всем своим скарбом отправился вверх по Тугиру. Перевалив через Олекминский становик – отроги Станового хребта – Хабаров с товарищами весной того же года добрались до реки Урки, впадающей в Амур. Там они вскоре вышли к стольному городищу царства Лавкая, который находился на самом берегу этой реки.