Согласно дошедшим до нас источникам, предки художника были родом из селения Кольбордоло неподалеку от Урбино, где его прадед по имени Пьеро, или Перуццоло, имел небольшое поместье и занимался оптовой торговлей зерном. В 1446 году тиран соседнего Римини Сигизмунд Малатеста, чей пращур, хромой Джанчотто, упоминается Данте и Боккаччо, напал во главе папского войска на земли урбинского герцогства, сжег дотла Кольбордоло и другие селения в округе. Лишившись в одночасье дома, всего нажитого трудом, Перуццоло с семьей был вынужден бежать в Урбино под защиту его крепостных стен. Обосновавшись там, он на первых порах занялся с сыном Санте мелочной торговлей, открыв москательную лавку на улице Санта-Маргарита.
Довольно распространенное в тех краях как мужское, так и женское имя Санте со временем превратилось в родовую фамилию Санти. Рафаэль латинизировал ее, как было принято тогда в образованных кругах общества, и превратил в Санцио, но очень редко ею пользовался, да и не было в том никакой нужды. Достаточно было произнести одно лишь имя Рафаэль, чтобы сразу всем становилось ясно, о ком идет речь.
После смерти Перуццоло его оборотистый сын Санте с разросшейся семьей переехал в1463году в собственный дом, приобретенный за240 дукатов на одной из центральных улиц Контрада дель Монте, круто поднимающейся на вершину холма, сплошь заросшего кедрами и каштанами. Ныне это улица Рафаэля, сохранившая свой прежний почти не тронутый временем средневековый облик. Так уж повелось, что здесь рядом с церковью Святого Франциска, украшенной ажурной колокольней, селились в основном ремесленники и торговцы – люди среднего достатка. Седловина между двумя холмами называлась Piana di Mercato, здесь располагался рынок, нынешняя площадь Республики, куда съезжались торговцы из ближайших городов и деревень.
Ниже в глубоком овраге образовалась обширная площадь Mercatale на месте бывшей строительной площадки с подъездными путями, проложенными при возведении главного дворца для герцога. Сегодня площадь отдана под стоянку автотранспорта и экскурсионных автобусов. Оттуда туристы и гости города могут подняться на лифте и оказаться в самом центре Урбино.
Менее крутой противоположный холм Поджио был облюбован высшим духовенством, знатью, местными интеллектуалами и разбогатевшей буржуазией, которая считала для себя зазорным жить бок о бок с лавочниками и ремесленниками. Это различие ощущается и по сей день, хотя Урбино несколько изменился и помолодел, став крупным учебным и научным центром с построенным в начале 60-х годов прошлого века современным университетским городком на холме Капуцинов. Теперь, куда ни глянь, всюду в городе шумная студенческая молодежь и нескончаемые толпы разноязыких туристов, чей поток немного стихает в зимние месяцы. По прошествии веков родной город художника выглядит на удивление молодым, как молод в нашем сознании сам Рафаэль, о котором мы судим по его бессмертным творениям, а посещая Урбино, лишний раз убеждаемся, что гений родился в нужном месте.
Вероятно, дела у деда художника Санте ди Перуццоло пошли в гору, и вскоре он приобрел соседний смежный дом. Оба строения имели общую разделительную стену брандмауэр. Однако купленный дом был ниже прежнего, так как улица Контрада дель Монте круто спускается вниз к рыночной площади, а высота строений была строго регламентирована. В нижнюю половину Санте перевел свою мелочную лавку с выходящим прямо на улицу каменным прилавком. Среди разложенных на нем товаров предлагались на продажу кисти, краски и различные лаки, пользовавшиеся спросом.