Сибирский приказ отправил Ерофея Павловича в Илимское воеводство. Там он поселился на Киренге, в своей деревне, и снова занялся хлебопашеством. Илимский воевода подыскал Хабарову место приказчика пашенных крестьян в Киренском присуде. На территории от устья Куты до Чечуя, где находилось несколько десятков больших и малых деревень, Ерофей Павлович должен был следить, чтобы казённые земли качественно вспахивались, а хлеба вовремя убирались, чтобы крестьяне трудились на своих и на государственных полях и не предавались азартными играми, пьянству и прочим злоупотреблениям.

Долг перед казной, возникший в ходе подготовки к двум Амурским экспедициям, Хабарову так и не простили. Но Ерофей Павлович сумел договориться с ленским воеводой о том, что в погашение этого долга он каждый год будет отправлять из Киренги в Якутский острог по тысяче пудов хлеба.

Наконец-то Хабаров смог воссоединиться с женой и детьми. Их привезли в Якутский острог ещё в 1652 году. Но детей пришлось отделить, чтобы им не перешёл отцовский долг перед казной. А ещё этот долг не позволил Ерофею Павловичу снова отправиться на берега Амура. Он упрашивал разных воевод, он писал челобитные, но постоянно получал отказ. Зимой 1667 – 1668 года он даже решился самолично поехать в Москву, чтобы решить этот вопрос там. В Сибирском приказе челобитную Хабарова приняли и даже повысили ему оклад за многолетнюю добросовестную службу. Но новую экспедицию не разрешили.

Умер Ерофей Павлович зимой 1670 – 1671 годов. Известно, что свою деревню в Киренге вместе с пашнями и мельницей он завещал Киренскому монастырю. Сохранилась челобитная, которую монахи отправили илимскому воеводе 9 февраля 1671 года. В этом документе они сообщали, что Хабаров умер, и просили подтвердить их право владения завещанным им имуществом.

31 мая 1858 года на берегу Амура был основан военный пост 13-го Сибирского линейного батальона. Руководил строительством капитан Яков Васильевич Дьяченко, исполнявший обязанности командующего. А чуть позже генерал-губернатор Восточной Сибири Николай Николаевич Муравьёв-Амурский лично подобрал для этого поста название, Хабаровка, в честь землепроходца XVII века. Ныне Хабаровск – крупнейший российский город на Дальнем Востоке.

В 1909 году при строительстве Амурской железной дороги в 60 км на северо-запад от того места, где когда-то Хабаров увидел первый даурский городок, поставили бараки рабочих, строивших будущую станцию. Станцию, открывшуюся в 1914 году, назвали Ерофей Павлович. В 1934 году такое же имя получил и посёлок городского типа при ней. Так что землепроходец-устюжанин удостоился двух персональных топонимов.

В XXI веке станция Ерофей Павлович получила новое здание вокзала с архитектурными излишествами, призванными напоминать о ладьях русских землепроходцев.

Илимское воеводство основали в 1649 году. Его центром стал Илимский острог, которому в том же году официально дали статус города. Несмотря на суровый климат, в этих краях оказалось возможным выращивать рожь и даже получать неплохие урожаи этого злака. Вскоре воеводство сделалось самым населённым во всей Восточной Сибири.

В 1662 году руководить им назначили Лаврентия Авдеевича Обухова, ставшего двумя годами раньше московским дворянином. Будучи младшим сыном заурядного юрьевского помещика, Обухов расценивал своё новое назначение, прежде всего, как возможность разбогатеть и самоутвердиться. В принципе, это было обычным для воевод того времени, но Лаврентий Авдеевич выделялся из числа прочих особенной жадностью и самодурством. Он довел многих жителей воеводства до полного разорения поборами и повинностями. Особенно тяжело приходилось низшим сословиям: крестьянам, промысловикам и гулящим людям. Многие попали в кабальную зависимость не только к Обухову, но и к его приближённым. Понятно, что воеводу искренне ненавидели.