Только в конце жизни, когда его духовное чадо иеромонах Паисий, находящийся в России со сборами, стал слезно упрашивать авву покинуть игуменское место, – он не только согласился, но и сам стал прикладывать усилия к своему свержению. Тогда весь церковный Петербург уже недвусмысленно требовал удаления игумена, поставив это необходимым условием строительства часовни в Северной столице. О. Паисий только и мечтает о том моменте, когда старца отстранят от руководства и все дела сразу устроятся. Но что должно было последовать за устранением старца? Ответ мы находим в следующем письме отца Паисия, которое он написал, предвосхитив отстранение старца: «Ваше высокопреподобие, всечестнейший и богоизбранный, многоуважаемый старец наш о. Виссарион и всечестнейший, высокопреподобнейший о. игумен Феодорит! Увы, понеже обитель наша многих имеет врагов, которые отверзли уста своя, хотящих ю потопити в водах многих – хульных клеветах. Но Господь, прибежище наше в скорбех, обретших ны зело – Бог знает, что будет дальше, но я с своей стороны думаю, что все постройки нужно бы приостановить и копеечку беречь для будущего времени…»
Вот что в действительности крылось за попытками сместить старца. Старец принялся за великое дело, взятое на себя не по собственному хотению, но по воле Божией. Ради великой любви к православию и Родине он со своим другом о. Варсонофием решает создать первую обитель на Афоне, где жили бы преимущественно русские. Ясно, что обитель должна быть не маленькая – ведь Россия самая большая православная держава. Но повсюду распространяется клевета на него, дабы помешать этому богоугодному делу. И особенно много распространяется всяких вымыслов в России, а она является материальным источником становления обители. Его же любимый ученик поддается противникам старца и готовит свою программу: все постройки, необходимые для создания большой общежительной обители, прекратить и беречь копеечку для каких-то будущих времен. Старец же, наоборот, зная волю Божию, спокойно берется за постройки, не имея ни гроша, и все совершается: и деньги находятся, и люди. Скоро о. Паисий узнаёт, что он обманулся в своих надеждах, и старец по-прежнему игумен скита. Он пишет отчаянное письмо, явно свидетельствующее о его духовном состоянии.
«Не знаю, как могу выразить мою скорбь, неудовольствие наших доброжелателей и радость противников. Простите. Может быть, письмо мое или слова покажутся вам грубыми. Поверьте, Ваше Высокопреподобие, что Вам пишет искреннейший послушник, а, если удостоите, то уважающий Вас о Христе Иисусе брат, который готов для святой обители и старца вся в мире, даже и жизнь, презреть, а поэтому и высказываюсь: не понимаю, откуда у Вас столько смирения, что Вы отказываетесь от начальства, видя общественную потребу и пользу обители? Это меня удивляет и кажется оскорбительным и для нашего драгоценного и любвеобильного старца. Неужели вы, ревностный послушник, являетесь упорным?! Это странно и грешно, а мне делается стыдно и смешно, я, наконец, стал как провозглашатель лжи, ибо всюду утвердительно провозглашал вас настоятелем, чему все были рады. Теперь я должен все оставить и возвратиться восвояси, более ничего не остается делать. Повергаю на Ваше усмотрение все и вся. Вы знаете, что я старца уважаю и люблю более многих других, но, видя потребность, умоляю удовлетворить, не меня, но благодетелей… Ожидаю на сие письмо решительного и удовлетворительного ответа. Иначе я, находясь в затруднительном положении, должен буду возвратиться тощ, не имея успеха в начатом деле. Вы знаете, как приумножились препятствия после Вас делать что-нибудь доброе для обители. Теперь и к синодским я не могу явиться, к Соломону