Архиепископ Фаддей был обвинен в том, что он способствовал печатанию воззвания. Владыка все обвинения категорически отверг. В сентябре 1922 года по «делу» архиепископа было составлено обвинительное заключение: «…распространением нелегально изданных посланий митрополита Агафангела проявил враждебное отношение к советской власти и, принимая во внимание его административную высылку из пределов УССР за контрреволюционную деятельность… Успенского, как политически вредный элемент, подвергнуть административной высылке сроком на один год в пределы Зырянской области».

Из Москвы архиепископа Фаддея перевезли вместе с митрополитом Кириллом (Смирновым) во Владимирскую тюрьму. Митрополит Кирилл так вспоминал об этом: «Поместили в большую камеру вместе с ворами. Свободных коек нет, нужно располагаться на полу, и мы поместились в углу. Страшная тюремная обстановка среди воров и убийц подействовала на меня удручающе… Владыка Фаддей, напротив, был спокоен и, сидя в своем углу на полу, все время о чем-то думал, а по ночам молился. Как-то ночью, когда все спали, а я сидел в тоске и отчаянии, владыка взял меня за руку и сказал: «Для нас настало настоящее христианское время. Не печаль, а радость должна наполнять наши души. Сейчас наши души должны открыться для подвига и жертв. Не унывайте. Христос ведь с нами».

Моя рука была в его руке, и я почувствовал, как будто по моей руке бежит какой-то огненный поток. В какую-то минуту во мне изменилось все, я забыл о своей участи, на душе стало спокойно и радостно. Я дважды поцеловал его руку, благодаря Бога за дар утешения, которым владел этот праведник. Передачи в тюрьму для владыки Фаддея собирала Вера Васильевна Трукс. Архиепископ целиком отдавал их старосте камеры, и тот делил на всех».

Митрополит Кирилл вспоминал о случае прозорливости владыки Фаддея: «Однажды, когда поступила обычная передача, владыка отделил от нее небольшую часть и положил под подушку, а остальное передал старосте. Я увидел это и осторожно намекнул владыке, что, дескать, он сделал для себя запас.

– Нет, нет, не для себя. Сегодня придет к нам наш собрат, его нужно покормить, а возьмут ли его сегодня на довольствие?

Вечером привели в камеру епископа Афанасия (Сахарова), и владыка Фаддей дал ему поесть из запаса. Я был ошеломлен предсказанием и рассказал о нем новичку. Позже владыка отдал святому Афанасию еще и свою подушку, а сам спал, положив под голову руку. Одному из заключенных он отдал свои сапоги и остался в шерстяных носках».

В ссылке архиепископ Фаддей поселился в поселке, где вместе с ним были митрополит Кирилл (Смирнов), архиепископ Феофил (Богоявленский), епископы Николай (Ярушевич), Василий (Преображенский) и Афанасий (Сахаров).

А в Астрахани ожидали приезда архиепископа Фаддея с нетерпением. После своего назначения 13 марта, владыка прислал в Астрахань своему викарию епископу Анатолию (Соколову) письмо, в котором он уведомлял о том, что он не может приехать в Астрахань раньше апреля, т. к. призван Святейшим Патриархом Тихоном к участию в делах Священного Синода. В письме архиепископ Фаддей просил епископа Анатолия (Соколова) прислать ему в Москву доклад о состоянии епархиальных дел. Епископ Анатолий передал приветствие астраханской пастве от владыки Фаддея и часто после богослужений рассказывал о его добродетелях и о скором приезде в Астрахань. Но владыка Фаддей не приехал в апреле, как обещал. А вскоре астраханцы узнали о его аресте.

А в это время добравшаяся до Астрахани обновленческая смута увлекла за собой епископа Анатолия (Соколова), который, будто переменившись, стал с амвона злословить об архиепископе Фаддее, о котором еще недавно говорил с большим уважением, называя его тихоновцем и контрреволюционером. Управители самочинного обновленческого ВЦУ тоже не бездействовали. В шестом номере журнала «Живая Церковь» за 1922 год было напечатано постановление ВЦУ от 23 июня 1922 года, в котором сказано: «Архиепископа Астраханского Фаддея (Успенского) уволить на покой с воспрещением ему пребывания в Московской области». После этого постановления местные астраханские власти запретили возношение за богослужением имени архиепископа Фаддея. Но верующие в большинстве своем остались преданными Православию и не желали подчиняться самочинным церковным властям.