Вскоре, 27 апреля 1902 года, епископ Антоний был назначен на Волынскую кафедру, и до архимандрита Фаддея стали доходить слухи, что и его могут перевести на другое место служения. 5 мая он написал епископу Арсению: «Теперь наши мысли заняты предстоящим вскоре отъездом (по-видимому, в середине мая) нашего, незаменимого для меня как духовного отца и руководителя, Владыки Антония. Правда, не в первый раз приходится нам провожать его, но всё же будущее покрывается каким-то облаком. Кроме того, – ожидание, что могут куда-либо вскоре переместить, хотя оно и не нарушает почти моего душевного равновесия. Вообще своим положением я доволен».

И действительно, 8 января 1903 года архимандрит Фаддей был назначен ректором Олонецкой духовной семинарии. В тот же день товарищ обер-прокурора Синода В. К. Саблер телеграфировал об этом в Житомир епископу Антонию.

26 января Уфимская семинария прощалась с инспектором. Отслужив литургию в семинарском храме, архимандрит Фаддей обратился к присутствующим со словом, в котором искренне и просто открывал перед ними свой внутренний мир.

«Хвалящийся хвались Господом (1 Кор. 1: 31; Иер. 9: 24). Эти слова, вызываемые в памяти читанной ныне евангельской притчей о мытаре и фарисее, невольно заставляют меня в нынешний день спросить самого себя – подлинно ли по имени моему10 было и житие мое, ибо имя, мной носимое, означает хвалу Господа, и оно всегда напоминало мне, что всю жизнь свою должен я направлять к прославлению имени Господа и не искать ни в чем собственной славы, – сказал он. – Но подлинно ли всегда я избегал славы человеческой и стремился делать все дела свои не для того, чтобы люди говорили мне „хорошо“, а для того, чтобы совершать во славу Божию вверенное мне дело?

Подобные размышления всегда приводили, а ныне особенно приводят меня в страх и усиливают мою печаль при прощании с вами: неужели уподоблялся я в жизни своей гробу окрашенному, будучи внутри исполнен тщеславия, нечистоты и прочих страстей? Страх этот невольно связывал мои уста и движение во всякое время – предстоял ли в молитвах за вас пред престолом Божиим, говорил ли что-нибудь на уроке или делал разные наставления и замечания: как может восходить к Богу молитва того, кто лишь на словах призывает Бога, в сердце же не имеет вполне крепкой веры в Него? Как может врачевать души слово того, кто сам не уврачевал себя от многих страстей?

Но подобный страх всегда умерялся во мне сознанием, что не сам я принимал на себя то или иное служение, но оно вверялось мне от Бога. Кроме того, все намерения свои старался я проверять советами духовных отцов. <…> Я начал с усиленной ревностью изучать сам порученные мне науки и с такой же ревностью всё лучшее, что извлекал из книг или размышлений и бесед с людьми, передавать вам. Много встретил я препятствий на этом пути, по временам изнемогал духом и телом, но утешительные слова любимого мною владыки всегда утешали и укрепляли меня. Затем принял я на себя трудное дело вашего воспитания и надзора за вами, и опять не сам, но по воле горячо любимого мною владыки Антония и по любви к нему. О, как тяжела была эта моя чаша! Сколько скорбей воспринял и носил я в сердце своем! Но зато как усилилась любовь моя к вам, братия, через эти страдания! День и ночь помышлял я о вас, возлюбленные братия, и иногда слезы являлись на глазах моих. О вас были все мои думы и помышления. Ради вас заключался я в стенах семинарии, как в темнице, отрекаясь не только от собственного спокойствия, но и от известности как славы вне семинарии, хотя там и легче приобрести было эту славу! <…> Я не искал повышений по должности, когда почувствовал свою судьбу связанной с вашей судьбой, и только теперь, когда есть призыв к иной деятельности, опять совершившийся, как я думаю по воле Божией, я оставляю вас.