Первым видимым знаком преемственности Московской Руси от Византии было принятие государственным гербом двуглавого орла, бывшего гербом греческих царей. Со времени брака Иоанна с Софией Фоминичной двуглавый орел вместе с всадником, поражающим копьем змея, делается навсегда нашим Государственным гербом, причем всадник изображает как святого великомученика и победоносца Георгия, так и государя, поражающего своим копьем всех врагов Отечества и всякое противогосударственное зло.
Наряду с важными делами по собиранию Руси Иоанн неутомимо старался также об украшении своего стольного города Москвы и в этом отношении шел совершенно по стопам своего прапрадеда Иоанна Калиты. При Иоанне III Москва из деревянной стала белокаменной.
В деле этом, конечно, важнейшей заботой великого князя было попечение о Божьем храме, который являлся как бы основным камнем для создания народного государственного единства, о кремлевском соборе Успения Божией Матери, заложенном при Иоанне Калите собственными руками первосвятителя всея Руси, святым Петром-чудотворцем, в нем и погребенным. Храм этот от времени и многих пожаров сильно обветшал и грозил падением. И вот в 1471 году в ту же летнюю пору, когда войска Иоанновы одержали славную Шелонскую победу над изменниками новгородцами, митрополит Филипп заложил сооружение нового каменного собора и отпустил для этого немалое количество денег из своих доходов. Конечно, и великий князь, получив от новгородцев 15 500 рублей за их вину, тоже вложил свою лепту в эту постройку, которая была поручена московским мастерам камнесечцам – Иоанну Кривцову да Мышкину.
При разборке старого храма были открыты мощи погребенных там митрополитов. Когда приступили ко гробу святого Ионы и сняли с него доску, в тот час «изыди из гроба благоухание много по всему храму; мощи же его явились все целы и нерушимы, прилипе бо плоть кости его и не двигнушася составы его», – говорит летописец. Вскоре у этих мощей последовало два случая чудесного исцеления. С великим освящением и с установлением даже особого празднества были перенесены и мощи святого Петра-чудотворца. Когда митрополит Филипп со многим страхом и слезами повелел разобрать надгробницу, то увидели гроб, весь распавшийся от бывшего пожара, «а мощи, яко свет, блещашися, ничто к ним не прикоснулось, и благоухание многое исходящее от них». Народ с напряженным вниманием следил за всеми мельчайшими подробностями перенесения мощей святых, почивавших в Успенском соборе, и вообще за всем ходом его сооружения. К весне 1474 года церковь была уже «чудна вельми и превысока зело»; ее вывели до сводов, которые оставалось только замкнуть, чтобы на них соорудить большую среднюю главу, как вдруг 20 мая в час солнечного заката храм внезапно разрушился, не повредив, однако, гробов святых Петра и Ионы; сохранились также все иконы, святые сосуды, книги и паникадило в сооруженной рядом временной деревянной церкви.
Причиной такого несчастья и такой печали для всего города послу жило плохое искусство мастеров, так как старый способ постройки каменных храмов, коим была так знаменита Русь XI и XII веков, был совершенно забыт в это время. Вместе с глубокой скорбью о разрушении храма весь московский народ видел преславное чудо и благодатное заступление Божией Матери в том обстоятельстве, что при разрушении церкви никто из людей не пал жертвою этого несчастья, хотя весь день в ней усердно работали камнесечцы, а на подмостки всходили до темноты многие любо знательные посмотреть, как подвигается работа. Чтобы начать вновь строить церковь, великий князь послал было за псковскими мастерами, славившимися своим искусством, но когда они отказались от столь ответственной работы, то он решил отправить для сего нарочитого посла в Италию, в город Венецию, и выбрал Семена Толбузина.