В I веке до н. э. под напором наступавшего германского племени свебов гельветы покинули Гейдельберг и ушли в Галлию, а «гельветская пустошь» долгое время оставалась ненаселённой. Во время правления римского императора Тиберия с 17 года н. э. для защиты своей границы по Рейну римляне начали поселять союзные им германские племена в право-рейнской области. Так к востоку от устья р. Неккар они поселили свебов. При императоре Веспасиане (69—79) римляне перенесли границу в области восточнее Рейна, а в 85—90 гг. эти территории вошли в состав провинции «Верхняя Германия» («Germania superior»). В самом Гейдельберге они разместили армейский лагерь. В 90 году возник каменный замок вместо предшествовавших деревянных построек. Через Неккар римляне соорудили деревянный мост, а в 200 году каменный мост длиной 260 м. На вершине Святой горы возник храм бога Меркурия; культ бога Митры тогда также был распространен в Гейдельберге. Благоприятному удобному транспортно-географическому положению Гейдельберг процветал экономически и превратился в центр гончарного производства, хотя он всегда оставался в тени соседнего города Лоподунум (Ладенбург), являвшегося региональным центром. После опустошительного вторжения в 260 году германских племён алеманнов, франков и ютунгов римляне ушли из региона за Рейн.

После их ухода регион заселили алеманны. При них поселение пришло в полный упадок, римские укрепления и мост разрушились, и в целом оно перешло к деревенскому образу жизни. После победы короля франков Хлодвига над алеманнами в 506 году Гейдельберг стал частью их Королевства франков и принадлежал гауграфству Лобденгау. Самым видимым последствием франкского господства была христианизация области. В VIII веке близлежащий Лоршский бенедиктинский монастырь развился в важный политический центр, который боролся с епископством Вормса за преобладание в регионе. Чтобы укрепить своё влияние в гейдельбергской области его аббат Тиотрох в 870 году основал филиал – монастырь Святого Михаила на Святой горе на месте бывшего храма Меркурия. Два века спустя на горе Мишельсберг был основан другой монастырь Святого Стефана. В 1130 году у подножия горы возникло аббатство Нойбург.

Многие из сегодняшних районов Гейдельберга восходят к деревням, возникшим уже во времена франков в VI веке. Впервые документально они упоминаются в VIII веке в «Лоршском кодексе»: Нойенхайм и Хандшухсхайм в 765, Рорбах в 766, Виблинген и Кирххайм в 767, Бергхайм в 769 году. Старейшее письменное упоминание Гейдельберга относится к 1196 году, хотя замок на северном склоне горы Кёнигсштуль и был построен гораздо раньше – примерно в конце XI или в начале XII века. В те времена Гейдельберг был во владении епископства Вормс и состоял из замка, низлежащей деревушки и церкви Святого Петра у подножия горы. Неясно, был ли этот первый замок предшественником того замка, который впервые упоминается в документе 1225 года. Современный же Гейдельбергский замок на холме Иеттебюль был основан между 1294 и 1303 гг.

В 1156 году император Священной Римской империи Фридрих I Барбаросса передал своему единокровному брату Конраду Гогенштауфену Пфальцграфство Рейнское. При Конраде Гейдельберг начал развиваться как город. В то время он располагался в области между Кёнигсштулем и Неккаром, имел вил прямоугольника с рыночной площадью в центре и был окружён городской стеной.

После смерти Конрада в 1195 году и короткого периода правления Вельфов в 1214 году император Фридрих II передал Пфальцграфство во владение Дома Виттельсбахов. В 1225 году пфальцграф получил прежний вормский Гейдельберг в качестве лена.