Затем через 50 лет после нового восстания Бар-Кохбы (три года город находился в их руках) в 135 г. римляне вновь захватили город, на месте Храма воздвигли святилище Юпитера, построили на развалинах города римскую колонию Элия Капитолина, на месте Святая святых установили конную статую Адриана, в город стали прибывать христианские паломники, появилась христианская община, а евреям жить запрещалось.

В 324 г. византийский император Константин I овладел страной, и город приобрел в основном христианский облик, на месте предполагаемого захоронения Иисуса была воздвигнута церковь Гроба Господня. Лишь в 438 г. благодаря заступничеству императрицы Евдокии евреям вновь было разрешено проживать в городе, отстроенном и значительно расширенном ею, построен дворец патриархов, монастыри, башни, площади, улицы, колоннады.

В 614 г. персы взяли Иерусалим. Евреи видели в персах избавителей от насильственного обращения в христианство и поддержали их. Потом в 629 году византийцы вновь овладели городом, они беспощадно расправились с евреями и изгнали их из города. В 638 г. арабы овладели Иерусалимом. В городе поселились наряду с христианами арабы. На Храмовой горе на месте ранее разрушенных храмов построили мечети.

В 800 г. христианские святыни Иерусалима перешли под покровительство Карла Великого, что стимулировало строительство христианских храмов и монастырей. В 878 г. вся территория Израиля была присоединена к египетскому султанату и до Османского завоевания в 1516 г. (за исключением периода крестовых походов) Иерусалим оставался под властью египетских правителей. В 1020 г. очередной завоеватель Халиф ал-Хаким разрушил церкви (в т. ч. Церковь Гроба Господня) и синагоги Иерусалима. В 1071 г. Иерусалим был захвачен сельджуками и присоединен к империи султанов Ирака и Персии. В 1098 г. Фатимидам удалось вновь овладеть Иерусалимом, но в 1099 г. город взяли крестоносцы. Они вырезали мусульманское и еврейское население, а уцелевших продали в рабство. Иерусалим стал столицей Иерусалимского королевства крестоносцев. Большинство населения Иерусалима в 12 веке состояло из европейцев, большей частью французов. Мусульманам и евреям проживать в городе не разрешалось, но некоторое число евреев поселилось поблизости от города. При крестоносцах многие мусульманские святыни были превращены в церкви (например, мечеть Омара – в церковь Храма Господня, мечеть Ал-Акса – в церковь Соломона), строились новые церкви (наиболее значительной стала церковь Гроба Господня в 1149 г.), формировались и укоренялись христианские предания, в особенности легенды о жизни Иисуса (например, предание о крестном пути – Виа Делороза).

Но не было покоя этому многострадальному городу, как будто медом намазано это место, хотя холмы и пустыня вокруг, нет даже реки, недалеко лишь безжизненное Мертвое море. Но упорно, как ни в одном другом городе на земле за всю его историю, его захватывают, уничтожают, строят и снова захватывают до бесконечности. И снова, в который уже раз в 1187 г. войска Салах-ад-Дина овладели Иерусалимом. Церкви опять превратили в мечети, христианам запретили жить, но почему-то этот правитель оказался милостив к евреям и восстановил еврейскую общину, пополнив ее людьми из многих, в т.ч. европейских стран. Но все это тоже продолжалось недолго. В 1260 году в Эрец-Исраэль вторглись монголы, жители бежали из города, но через полгода монголы были разбиты силами мамлюков, и страна Израиля стала частью мамлюкского султаната. Иерусалим находился в упадке. С 1391 г. в Иерусалиме стали селиться марраны – насильственно крещенные испанские евреи, вернувшиеся к иудаизму. Мусульманские власти притесняли евреев, к 1488 г. в городе проживало только 70 еврейских семейств, а в 1492 г. стали в город прибывать евреи, изгнанные из Испании.