Так прожил он, в полном одиночестве, некоторое время. Епифаний не ручается за точность. Просто и прелестно говорит он: «пребывшу ему в пустыни единому единствовавшу или две лете, или боле или меньши, Бог весть». Внешних событий никаких. Духовный рост и созревание, новый закал пред новою, не менее святой, но усложненной жизнью главы монастыря и дальше – старца, к голосу которого будет прислушиваться Русь. Быть может, посещенья редкие и литургии в «церквице». Молитвы, труд над грядкою капусты и жизнь леса вокруг: он не проповедовал, как Франциск, птицам и не обращал волка из Губбио, но, по Никоновской летописи, был у него друг лесной. Сергий увидел раз у келий огромного медведя, слабого от голода. И пожалел. Принес из келий краюшку хлеба, подал – с детских ведь лет был, как родители, «странноприимен». Мохнатый странник мирно съел. Потом стал навещать его. Сергий подавал всегда. И медведь сделался ручным.

Но сколь ни одинок был преподобный в это время, слухи о его пустынничестве шли. И вот стали являться люди, прося взять к себе, спасаться вместе. Сергий отговаривал. Указывал на трудность жизни, на лишения, с ней связанные. Жив еще был для него пример Стефана. Все-таки – уступил.

И принял нескольких: немолодого, с верховьев реки Дубны Василия Сухого. Земледельца Якова, братия называла его Якута; он служил вроде рассыльного. Впрочем, посылали его редко, в крайности: старались обходиться во всем сами. Упоминаются еще: Онисим, дьякон, и Елисей, отец и сын, земляки Сергия, из Ростовской земли. Сильвестр Обнорский, Мефодий Пешношский, Андроник.

Построили двенадцать келий. Обнесли тыном для защиты от зверей. Онисима, чья келия находилась у ворот, Сергий поставил вратарем. Келпи стояли под огромными соснами, елями. Торчали пни только что срубленных деревьев. Между ними разводила братия свой скромный огород.

Жили тихо и сурово. Сергий подавал во всем пример. Сам рубил келий, таскал бревна, носил воду в двух водоносах в гору, молол ручными жерновами, пек хлебы, варил пищу, кроил и шил одежду, обувь, был, по Епифанию, для всех «как купленый раб». И наверно, плотничал теперь уже отлично. Летом и зимой ходил в той же одежде, ни мороз его не брал, ни зной. Телесно, несмотря на скудную пищу (хлеб и вода), был очень крепок, «имел силу противу двух человек».

Был первым и на службах. Службы начинались в полночь (полунощница), затем шли утреня, третий, шестой и девятый час. Вечером – вечерня. В промежутках частые «молебные пения» и молитва в келиях, работы в огородах, шитье одежды, переписыванье книг и даже иконописание. Литургию служить приглашали священника из соседнего села, приходил и Митрофан, постригший в свое время Сергия. Позже он тоже вошел в состав братии – был первым игуменом. Но прожил недолго, вскоре умер.

Так из уединенного пустынника, молитвенника, созерцателя вырастал в Сергии и деятель. Игуменом он еще не был и священства не имел. Но это уже настоятель малой общины, апостольской по числу келий, апостольской по духу первохристианской простоты и бедности и по роли исторической, какую надлежало ей сыграть в распространении монашества.

Так шли годы. Община жила неоспоримо под началом Сергия. Он вел линию ясную, хоть и не так суровую и менее формалистическую, чем, напр., Феодосий Киево-Печерский, ставивший подчинение себе основой. Феодосии требовал точнейшего исполнения приказаний. Но Феодосий, не снимавший власяницы, выставлявший себя на съеденье комарам и мошкам, был и в аскетическом подвиге страстнее – это опять иной облик. Жизненное же и устроительное дело Сергия делалось почти само собой, без видимого напора. Иногда же, как в истории с игуменством, как будто даже против его воли.