Хабарову досталась богатая добыча. В Гойгударовом городке люди Ерофея Павловича пробыли полтора месяца, отправляя ко всем окрестным владетелям пленных дауров и передавая через них предложение покориться московскому царю. Но те не слишком торопились, дожидаясь, пока захватчики уйдут.

25 августа 1651 года люди Хабарова отправились дальше. Вскоре им встретился очередной городок, оставленный жителями. Как выяснилось, там правил князёк Банбулай. За стенами городка располагались поля, на которых колосились уже поспевшие зерновые. Люди Ерофея Павловича захотели их сжать, а руководитель экспедиции охотно продавал им серпы по рублю, а косы – по два рубля. Когда с жатвой было покончено, Хабаров рассказал своим охотникам, как богаты даурские городки на реке Зее, и те, кто хотел заняться землепашеством, отказались от мыслей осесть в Банбулаевом городке.

До устья Зеи экспедиция дошла за два дня. Поднявшись вверх по течению этой реки, люди Ерофея Павловича заметили крупный и хорошо укреплённый городок. Хабаров отправил разведчиков на лёгких стругах. Оказалось, что городские стены никто не охраняет. Пользуясь благоприятной ситуацией, разведчики овладели укреплениями без боя. А владетели городка, Толга, Туронча и Омутей, вместе со своими лучшими людьми в это время пировали за пределами стен. Когда дауры спохватились, русские уже поднялись на стены и башни. Омутей и его родичи успели сбежать, а вот Толге и Туронче не повезло: их окружили.

Хабаров пытался предотвратить ненужное кровопролитие и предложил князькам принять подданство России и платить ясак. Те вроде как согласились и даже послали за Омутеем. Когда тот вернулся, все три местных владетеля присягнули московскому царю. Вскоре поступил и ясак, 60 соболей.

Дальнейшие сведения об этом эпизоде сильно отличаются. Есть публикация, в которой утверждается, что Хабаров проявил себя очень жестоким человеком, казнив множество дауров. Есть версия, что русские и дауры начали приспосабливаться друг к другу и Ерофей Павлович начал готовить городок к зимовке. Но 3 сентября 1651 года многие местные жители сбежали. Четверо суток русские ожидали их возвращения, а 7 сентября Хабаров отдал приказ сниматься с места и садиться на дощаники. Оставаться в городке Толги на зимовку он посчитал слишком опасным, подозревая местных дауров в вероломстве.

Русские вернулись в Амур и направились вниз по течению. Прошли, не останавливаясь, через земли, населённые гогулами, потом дючерами. 29 сентября заметили на левом берегу Амура утёс, рядом с которым проходила протока. Это место признали подходящим для зимовки. Дощаники завели в протоку, на высоком месте построили две сторожевых башни и одну проезжую, а между ними поставили стены. Внутри городка места оказалось немного, поэтому все избы для проживания участников похода там не поместились. Часть срубов пришлось ставить под стенами.

5 октября 1651 года Хабаров отправил сотню охотников для заготовки рыбы к устью ближайшей реки: там как раз шли на нерест лососёвые. Здешние земли были неплохо заселены, поэтому местные жители, ачаны, наблюдали за чужаками и сразу же заметили, когда пришлых стало меньше. 8 октября рано утром к зимовью Хабарова подошли две больших лодки, в каждой из которых находилось по 50 – 60 человек. Ачаны высадились на берег, бесшумно сняли часового и принялись поджигать стены городка.

Люди Ерофея Павловича не растерялись. Облачившись в доспехи, 36 русских принялись оборонять стены, стреляя в нападавших из пушек и пищалей, а семь десятков охотников выбрались через ворота и атаковали ачанов со спины. Бой длился около двух часов. Городок удалось отстоять. Ачаны побежали к лодкам и вскоре ушли вверх по Амуру. На следующий день вернулись рыболовы. С тех пор охрану городка усилили, оставляя ночью на дежурстве по нескольку человек, а стены укрепили.