Пробыв пять месяцев в Сарове, отец Серафим вернулся опять в любимую свою пустынную келию. Таким образом, опять враг спасения потерпел новое поражение. Обидчики подвижника были найдены и оказались крепостными крестьянами помещика Татищева, из села Кременок. Отец Серафим просил настоятеля не преследовать их и писал о том же помещику. Все настаивали на наказании. Тогда отец Серафим объявил, что в таком случае он оставит Саров и совсем уйдет в другое место.

Господь сам наказал этих людей: у них сгорели все избы. Тогда, раскаявшись, они пришли к отцу Серафиму и просили у него прощения.

В 1807 году скончался второй, со времени поступления отца Серафима, настоятель Саровский – праведный игумен Исаия, который весьма чтил отца Серафима и которому отец Серафим платил искренней любовью. Когда отец Исаия был здоров, он сам ходил в пустынь к отцу Серафиму. Когда он сложил с себя должность, отец Серафим был избран братиею в настоятели, но отказался, и был избран в настоятели казначей Нифонт. Больной старец не мог лишить себя утешения в беседе с отцом Серафимом, и братия возила бывшего своего настоятеля в тележке в пустыню к отцу Серафиму. Кончина отца Исаии тяжело отразилась на отце Серафиме. Три любимых им старца, из которых двое, Иосиф и Пахомий, руководили первыми его иноческими шагами, лежали в могилах. Он сам прожил уже почти полвека. И новое поколение иноков не могло дать его привязчивой душе то, что давало ему общение с этими тремя глубокодуховными, а для него незаменимыми, коренными людьми. Как ни ограничивал он людских отношений, уход этих людей болезненно на нем отразился. Никогда не проходил он мимо кладбища монастырского без того, чтоб не помолиться на их могилах. Начальнице Ардатовской общины он как-то сказал: «Когда идешь ко мне, зайди на могилки, положи три поклона, прося у Бога, чтоб Он упокоил души рабов Своих Исаии, Пахомия, Иосифа, и потом припади ко гробу, говоря про себя: «Простите, отцы святии, и помолитесь обо мне!»

Стремясь все далее, все более очищая душу, а быть может, чтоб подвигом смирить печаль души, отец Серафим приступил к новому деланию – молчальничеству. Он более не выходил, если кто посещал его. Встречаясь с кем в лесу, падал лицом к земле, и не вставал, пока не уходили от него, перестал даже ходить в монастырь по праздникам. Раз в неделю, по праздникам, старцу приносил послушник из Сарова пищу. Зимой приходилось идти к нему по глубокому снегу. Дойдя до келии, послушник стучал, говоря вслух молитву Иисусову, и старец, ответив «аминь», отворял дверь сеней, где был приготовлен лоточек. Сам он стоял в это время со сложенными руками, смотря в землю и не подымая глаз на пришедшего. Послушник складывал принесенное на лоточек, а отец Серафим клал туда же кусочек хлеба или капусты, означая тем, что нужно принести на следующий раз. Затем послушник уходил, не слыхав и голоса старца. Таково было внешнее выражение молчальничества. Значение же и сущность его состояли в отречении от всяких житейских попечений для совершеннейшего служения Богу.

Отец Серафим пояснял: «Паче всего должно украшать себя молчанием, ибо святой Амвросий Медиоланский говорил, что молчанием многих видел спасающихся, многоглаголанием же ни единого. И паки некто из старцев говорит: молчание есть таинство будущего века, словеса же – орудия суть мира сего. Молчание приближает человека к Богу и делает его как бы земным ангелом. Ты только сиди в келии своей во внимании и молчании, и всеми мерами старайся приблизить себя к Господу. А Господь готов сделать тебя из человека ангелом: “На кого бо, говорит он (Ис., 66, 2) воззрю, токмо на кроткого и молчаливого и трепещущего словес Моих”. Плодом молчания, кроме других духовных приобретений, бывает мир души. Молчание учит безмолвию и постоянной молитве. Наконец, приобретшего сие ожидает мирное состояние. Когда старца спросили, зачем он, наложив на себя молчание, лишает братию той духовной пользы, какую он мог бы принести ей своими беседами, он отвечал: “Святой Григорий Богослов рек: прекрасно богословствовать для Бога. Но лучше сего, если человек себя очищает для Бога”».