И все же, в большой мере сама жизнь первого игумена была чудом. Весь период правления о. Виссариона состоял из непрерывных попыток удаления его с должности игумена «доброжелателями» из Москвы и представителями братии на Афоне. Из числа братии активнее всех действовали «певцы», крепкие голосом, но слабые послушанием. В чем только не обвиняли его: в сребролюбии, разгульной жизни, невнимании к паломникам и даже в любоначалии. Как мы увидим, более нелепого обвинения невозможно было придумать.

«К сожалению, выходцы и посетители Афона поносят на нашу обитель и на вас клевещут благодетялем нашим. И даже членам Святейшего Синода разносят нелепые слухи. Еще сообщили клеветы и троим благотворителям нашей обители, кои имели намерение обеспечить обитель по духовной, а теперь отказались. Конечно, буди воля Божия, Бог да простит и помилует их всех, только прискорбно слушать и жалко их, нас очень беспокоят эти смуты», – пишет будущий игумен Феодорит своему духовному отцу игумену Виссариону. Далее он продолжает: «Касательно отсрочки не знаю, страшные сплетни и клеветы на вас и всех братий скита разгласили в Святейшем Синоде выходцы с Афона, разносят большие нелепости, поносят и лгут. Все козни диавольские восстали на нас, даже и угрозы коварных. Все это ослабило сбор и силы…» Игумен всю свою жизнь провел в атмосфере непрерывных клевет и жалоб на него. Подобные обвинения вызывали мощный резонанс в Петербурге, и незадолго до его кончины помощь молодому скиту была напрямую связана с заменой о. Виссариона. Но замене этой не суждено было произойти: о. Виссарион неожиданно простудился и умер игуменом созданной им обители. Единственной известной для нас слабостью о. Виссариона была любовь к церковному пению. Но не всякий монах обладает хорошим голосом и слухом. Увы, справедливо и обратное: не всякий, обладающий голосом и слухом, может быть монахом. Это прекрасно понимал старец, но все же из-за стремления иметь достойный хор иногда принимал в обитель монахов, которые впоследствии порождали смуты и нестроения. О. Виссарион же считал своим долгом перевоспитывать их. «Что я буду с ними делать?! Выслать их – в церкви будет скудно, держать добра не будет и слухи всюду скаредные. Хотя хорошо поют, однако пение наше нигде не слыхать, а дрязги всюду расплылись; в скиту Ильинском совсем нет певчих, да хвалят: чин хорош, а у нас певчие хороши, да худо», – писал старец о. Феодориту.

Никогда попытки убрать о. Виссариона с настоятельского места не встречали сопротивления с его стороны, хотя сам он не хотел оставлять игуменство, потому что воспринимал должность игумена именно как военный пост, а не как удобный кабинет монашеского генерала. Иной раз возомнившие о себе невесть что монахи приходили к о. Виссариону требовать «смены правительства». Затем отправлялись в монастырь, а оттуда их с улыбкой отправляли обратно. Вот как с юмором игумен описывает эти революции. «Прибытие, прожитие и отбытие из скита триех… самочинников или, рещи паче, самоизбранников… В одно время пришли ко мне… в келлию, спрашиваю: – „Что хощете, да сотворю вам?” – „Хощем, да утвердишь казначея, ризничнего и писаря, чтобы мы знали, како и куда что идет”. – „А кого сделать?” – „Да вот нас”. – „А вы что принесли в скит и много ли живете? Постарше есть вас, да молчат и дожидаются о. Феодорита, приедет, тогда все управим”. – „Ты, может, до него все промотаешь. А он приедет, будет с нас спрашивать”. – „А как он будет с вас спрашивать то, что он вам не вручал и вас не постановлял?” И так они отправились в монастырь с просьбой, якобы от лица всей братии, чтобы монастырь утвердил их в главных должностях. Но монастырские старцы отвечали им словами, сказанными Св. Патриархом Иерусалимским братии обители Саввы Освященного, которая пришла требовать себе нового игумена и изгнания св. Саввы. „Вы ли его избрали или он вас собрал?” – „Он”. – „Идите и живите мирно; монастырь только знает Виссариона, Варсонофия и Феодорита, а более никого”»