При Благовещенском соборе, как духовном центре епархии, располагалась резиденция правящего архиерея – архиерейский дом. Сначала это был небольшой деревянный дом. Затем митрополит Пахомий (Шпаковский) построил каменные трехэтажные архиерейские палаты. Около 1740 г. епископом Иоакимом (Струковым) были возведены новые каменные постройки: колокольня, кухни и конюшни, фрагменты ограды с угловой башней и святыми вратами в южной линии. Епископ Кирилл (Ляшевецкий) возвел южную ограду с башнями, в 1758 г. начал строительство Консисторского корпуса (в ней впоследствии разместили учителей), которое завершил преосвященный Иоанникий в 1761 г. При епископе Тихоне III (Малинине) с 1784 по 1787 гг. было выстроено новое здание архиерейского дома, а также здание семинарии и конюшенного двора в чертах итальянской архитектуры, по плану архитектора Д. Кваренги, утвержденному Екатериной II. Средства для этого строительства, в сумме 35 тысяч рублей, были выделены из казны. При архиерейском доме была освящена крестовая церковь. В покоях владык находился первый образ свт. Митрофана, написанный в 1830 г. живописцем И. Шевцовым, по благодатному сновидению.

В 1863 г., по ходатайству архиепископа Иосифа, с высочайшего разрешения, при Митрофановом монастыре, в доме, пожертвованном г. Нечаевым, было открыто училище и приют для девиц духовного звания. Содержалось оно на церковные средства, выделяемые, в основном, Митрофановым монастырем.

В 1918 г. безбожниками был зверски замучен архимандрит Благовещенского монастыря Дмитрий. В декабре того же года, на его место был назначен архимандрит монастыря Александр (Кременецкий). При нем, 3 февраля 1919 г. большевиками было проведено кощунственное вскрытие мощей свт. Митрофана. После вскрытия мощи были оставлены в монастыре. В дни Гражданской войны, новые власти стали приспосабливать помещения Благовещенского монастыря для создания концентрационного лагеря.

9 января 1920 г., на третий день Рождества Христова, когда во время богослужения, безбожники ворвались в храм и повесили на царских вратах архиепископа Тихона IV (Никанорова). Отпевание владыки совершил его приемник епископ Владимир (Шимкович). Архиепископ Тихон (Никаноров) причислен Русской Православной Церковью к лику священномучеников.

Мученическую смерть за веру претерпели иеромонахи Благовещенского монастыря Спиридон, Пимен, Федорит, Серафим и преподаватель Воронежской семинарии иеромонах Нектарий (Иванов). Единственной их виной было совершение череды служения в то время, когда Воронеж был под властью белых. Иеромонаху Нектарию представители новой власти переломали руки и ноги, забивали под ногти деревянные гвозди и «причащали» оловом. В ночь перед своим отступлением, красноармейцы расстреляли монахов в саду у каменного моста и сбросили в общую могилу. Их тела были обнаружены офицерами Добровольческой армии, перенесены для отпевания в часовню Митрофаньевского монастыря, а потом захоронены за Митрофаньевским собором у монастырской стены.

Как только красные вновь взяли Воронеж, в Благовещенском монастыре был восстановлен Митрофановский концлагерь принудительных работ, просуществовавший до 1923 г. В нем находились люди, приговоренные к десяти, пятнадцати и двадцати годам заключения, были и пожизненно осужденные. В этом лагере находился музыкант Леопольд Ростропович, отец всемирно известного Мстислава Ростроповича, арестованный за объявление в белогвардейской газете о его концерте. В то время Благовещенский и Архангельский соборы еще продолжали оставаться действующими. В монастырских постройках по-прежнему проживали некоторые иноки. Здесь же находилась резиденция главы Воронежской епархии.