Уже в то время он сильно увлекался Монголией и часто проводил время среди монголов на охоте, особенно на лисиц. В своих поездках, естественно, он сталкивался с религиозным бытом монголов, что и положило основание к изучению им буддизма, от которого он не отказался на протяжении всей своей жизни.

Несмотря на то что Унгерн был прекрасно воспитанный, тихий, застенчивый молодой человек, особенно стеснявшийся в присутствии дам, он был очень беспокойный офицер, причинявший массу неприятностей командному составу. Его пристрастие к спиртным напиткам не знало границ. И в опьяненном состоянии он становился другим человеком, совершенно нетерпимым в обществе. Обладавший незаурядной храбростью, самоотверженностью, он в то же время совершил поступок, который в корне отвергал все его достоинства как человека, так и офицера.

В одну из очередных попоек в офицерском собрании Михайлов, большой приятель Унгерна, поссорившись с ним, назвал Унгерна «проституткой». На оскорбление Унгерн промолчал. Присутствовавшие при инциденте гг. офицеры полка были удивлены молчанием Унгерна, а еще более тем, что в ближайшие три дня Унгерн не потребовал ни удовлетворения, ни простого извинения от Михайлова. Возмущенные гг. офицеры потребовали суда чести над Унгерном и над Михайловым. Суд чести, состоявший из офицеров Оглоблина, Шестакова, Серебрякова, Зимина, потребовал объяснений от Унгерна: почему он не реагировал на оскорбление? Унгерн и на суде не дал никакого ответа. По постановлению суда чести Михайлов и Унгерн были исключены из полка, а так как они были молодые офицеры, то, чтобы не портить им совершенно карьеры, им предложили выбрать полки, в которые они должны были бы перевестись. Михайлов вышел в отставку и служил крестьянским начальником, а Унгерн перевелся в 1-й Амурский полк, который стоял в Благовещенске. Из полка Унгерн выехал на осле, в сопровождении собаки и ручного сокола, пребывание которого на плече Унгерна оставило несмываемые следы. Проделав путь около 1000 верст при всяких лишениях, Унгерн прибыл в Благовещенск и зачислился в полк.

Но и в новом полку ему не удалось долго удержаться. Привычка к спиртным напиткам не оставляла его и он, проделав целый ряд поступков, причинявших командному составу много неприятностей, был исключен из полка с испорченным послужным списком за дуэль по пьяному делу, окончившуюся серьезным ранением его в голову. Исключенный из полка и вышедший в отставку, Унгерн вновь предпринял путешествие, отправившись в Кобдо, где служили его приятели сотник Резухин и подъесаул Лихачев. Прибыв в Кобдо и остановившись у них, Унгерн при своем подвижном характере вступил в шайку хунхузов, с которой и странствовал по степям Монголии. Через короткое время он принял командование шайкой, как более опытный из всех. Скитаясь по степям, Унгерн ближе и ближе знакомился с учением буддистов и становился в их рядах добросовестным членом. В 1912 г. он со своим отрядом хунхузов помогал халхасам осуществить их независимость, успешно оперируя против китайцев. После ликвидации китайского протектората и объявления независимости Монголии, Унгерн вновь удалился со своим отрядом в степи, где и продолжал грабить китайские караваны, а также и кочевников. Цель его была не нажива, так как он был совершеннейшим бессеребренником, а проявление отваги, связанной с риском ежеминутной смерти. Кровь предков, полурыцарей-полуразбойников, вечно кипела, отягощая больной мозг, призывая Унгерна совершать поступки, времена которых канули в пыли веков, отошли в область легенд.

Объявление войны Германии застало его в Монголии: он оставил малое поле деятельности и ринулся на войну со всем жаром пылкой, мятежной души, искавшей приключений. Унгерн был зачислен в 1-й Нерчинский полк (с тем же чином хорунжего), которым командовал барон Врангель».