Кайзер Фридрих II умер через тридцать лет после коронации. Новым кайзером был избран его сын Конрад IV, после чьей кончины четыре года спустя политическая жизнь Священной Римской империи стала разваливаться. В последующие 20 лет Римская империя погрузилась в неуправляемый хаос, в котором кайзеры стремительно сменяли друг друга. В 1273 году семеро курфюрстов прибыли в столицу империи Франкфурт для избрания нового императора. Они единогласно избрали новым императором графа Рудольфа IV Габсбурга. Поскольку пятидесятипятилетний Рудольф IV имел репутацию покладистого и сговорчивого человека, курфюрсты решили, что новоиспеченный император (первый из династии Габсбургов) не должен осложнить им жизнь. Добрый император Рудольф I (прежде граф Рудольф IV Габсбург) преуспел в борьбе с разбойниками, введении новых налогов и преобразовании правительства. Помимо этого, он значительно укрепил влияние Габсбургов благодаря различным брачным союзам.

Правление Рудольфа I оказалось намного продолжительнее, чем все ожидали. Он правил 17 лет и скончался 15 июля 1291 года в возрасте 73 лет. Рудольф I был основоположником идеологии pietas austriaca [8], подразумевающей приверженность Габсбургской династии благочестию и божественную роль императора. Его преемником стал его старший сын граф Альбрехт I, которого называли «твердым как алмаз одноглазым с сердцем из раскаленного докрасна железа», так как в одном из боев он лишился глаза. Согласно другим источникам, Альбрехт получил это прозвище после того, как его попытались отравить, а лекари подвесили его вниз головой на несколько часов, чтобы из него «вытек яд». Чудесное исцеление привело к кровоизлиянию, в результате чего Альбрехт ослеп на один глаз.

В 1308 году у Габсбургов случилась беда, когда племянник Альбрехта Иоганн Швабский в результате спора о правах на наследство устроил с сообщниками засаду на дядю и разрубил ему голову ударом меча. Дети Альбрехта отомстили за отца и обезглавили всю семью и придворных Иоганна. Ни один из семи сыновей Альбрехта не был избран императором. Габсбургам пришлось дожидаться короны Священной Римской империи целых 132 года.

Габсбурги все это время не сидели сложа руки. Рудольф IV, внук Альбрехта Одноглазого, получил прозвище «Основатель» благодаря тому, что за период ожидания завершил создание мифа о Габсбургах. Он сделал это, издав «Большую привилегию», представлявшую собой сборник фальшивых документов, подтверждающих происхождение Габсбургской династии от римских императоров Юлия Цезаря и Нерона. Рудольф IV также ввел новый титул «эрцгерцог», который устанавливал превосходство Габсбургов над «обычными герцогами». Таким образом, «эрцгерцог» возвышался до уровня «архиепископа» или курфюрста. Рудольф IV считал, что то, что хорошо для Габсбургской династии, хорошо и для Священной Римской империи, приравнивая династические интересы к государственным.

Поскольку все другие династические ветви габсбургского генеалогического древа вымерли за это время, супруга эрцгерцога Эрнста Австрийского Кимбурга Мазовецкая заняла почетное место прародительницы всех последующих поколений Габсбургской династии. Кимбурга обладала исключительной силой, и ходили слухи, что ей ничего не стоило расколоть орех между пальцами или кулаком вбить гвоздь в деревянную балку. Ее сын Фридрих III силой не отличался, но унаследовал от матери ряд черт, ставших особым признаком Габсбургов: большой длинный нос, тяжелый «габсбургский» подбородок и отвисшую нижнюю губу. Это был замкнутый человек, полный и с бледным лицом, предпочитавший физическим упражнениям садоводство. Но в 1440 году настал долгожданный поворотный момент. Германские курфюрсты избрали его новым императором.