Хабаров устроил высокому гостю из Москвы торжественную встречу. Тот раздал царские награды всем участникам похода. На следующий день Зиновьев встретился с местными князьками, пообещал им праведный суд и защиту, после чего одарил тканями и посудой. А на третий день Дмитрий Иванович, прочитавший в Москве донос Стеншина, сместил Хабарова с должности и направил в Москву для разбирательства.

Ерофей Павлович попросил показать бумагу, в которой бы это было написано. Его опыт общения с сибирскими воеводами слишком наглядно показывал, что посланцы из столицы часто позволяют себе заниматься самоуправством. Но Зиновьев только побил дерзкого приказного и посадил его под стражу. А затем начал собирать с людей Хабарова любые свидетельства злоупотреблений Ерофея Павловича. И таких набралось немало.

Командовать амурской экспедицией оставили есаула и пушкаря Онуфрия Степанова. Ему дали распоряжение завести пашни в устье реки Урки и в следующем году посеять там хлеб для пропитания шести тысяч человек. А ещё в устьях рек Зея и Урка следовало построить укреплённые городки.

15 сентября 1653 года Зиновьев отправился в обратный путь, захватив с собой Хабарова, полторы сотни стрельцов, весь собранный ясак и ясачные книги. Также с ним отправились зачинщики августовского бунта 1652 года, бывшие главными критиками и обвинителями Ерофея Павловича.

По пути Зиновьев грабил служилых людей, которых встречал, чем вызвал ненависть даже у врагов Хабарова. Поэтому Дмитрий Иванович устроил всё так, чтобы прибыть в Москву первым. В декабре 1654 года он отчитался перед главой Сибирского приказа Алексеем Никитичем Трубецким и его помощником дьяком Григорием Протопоповым. Так что когда Хабаров приехал в феврале 1655 года, в Сибирском приказе уже были настроены против него. Но его опрос Трубецким и Протопоповым показал, что Ерофей Павлович сделал много полезного для государства и его проступки на фоне всего этого выглядят слишком мелкими и малозначительными.

Почувствовав поддержку главы Сибирского приказа, Хабаров подал жалобу на Зиновьева, обвинив того в издевательствах, вымогательстве взяток и присвоении имущества. Следствие по этой жалобе вёл боярин Григорий Семёнович Куракин. Он оказался достаточно объективным, чтобы понять все обстоятельства дела, не испытывая сословных пристрастий. Зиновьев отпирался и лжесвидетельствовал, но его всё равно признали виновным в злоупотреблениях служебным положением. Но так как Дмитрий Иванович был московским дворянином, его лишь предупредили и повелели вернуть имущество, незаконно отнятое у Хабарова. Вернуть удалось в лучшем случае четверть или даже меньше. Остальное хитрый Зиновьев успел продать, а часть вещей, опознанных Ерофеем, называл своими и давал об этом клятву на кресте.

Тягаться с московским дворянином было тяжело и слишком опасно. Отдав возвращённое имущество в погашение своих многочисленных долгов, Хабаров 5 июня 1655 года написал челобитную царю Алексею Михайловичу, моля зачислить его на государеву службу в тот чин, в какой сочтут нужным. К челобитной прикладывался послужной список Ерофея Павловича, а также перечислялись все случаи, когда казна не расплатилась с ним (за ущерб от Головина, за хлеб, отданный для снабжения продовольствием Якутского острога и т. п.).

Денег Алексей Михайлович не дал: в стране из-за проблем с финансами как раз проводилась реформа, окончившаяся позже Медным бунтом. Долг Хабарова казне оставался: его требовалось погасить. Но за заслуги перед отечеством крестьянского сына произвели в дети боярские, установив ему годовой оклад в размере 10 рублей денег, 10 четвертей ржи, 10 четвертей овса и 1.5 пуда соли.