Древняя традиция относит основание монастыря Пантократор к XI веку и указывает на императора Алексия I Комнина как на первостроителя. Однако о точной дате начала строительства монастыря ничего не известно, но в летописях 1358 года обитель уже впервые упомянута. Предание повествует, что в 1362 году обитель была перестроена патриархом Каллистом I. Документы же свидетельствуют нам о том, что обитель появилась благодаря родственникам императора Иоанна V Палеолога при его активной поддержке. Два представителя византийской знати – великий стратопедарх (командующий военным лагерем) Алексий, освободивший Константинополь от рабства латинян, и его брат примикериос Иоанн – первый сановник Цареградского двора – считали своим долгом развивать монашество на Афоне.

Оба брата нашли себе покой в стенах Пантократора, где и до настоящего времени хранится мраморная гробница с прахом его создателей. Приняв иночество, Алексий поначалу подвизался в небольшой одноименной келье, называвшейся Пантократор. Примерно около 1368 года он отошёл ко Господу. Его брат Иоанн принял монашеский постриг предположительно в 1384 году. Впоследствии и при непосредственной помощи императора Палеолога, родственника Иоанна, келья расширилась до размеров монастыря. В этот же период в состав Пантократора вошли монастыри: святого Авксентия, святого Дорофея, Кинопод, Равдуш, Факен, Фалакр.

На пожертвования, сделанные братьями Иоанном и Алексием, были построены подворья, существующие до настоящего времени. Дар братьев Алексия и Иоанна монастырю – икона Христос Пантократор (Вседержитель), которую в настоящее время можно увидеть в российском Государственном Эрмитаже. Также в Эрмитаже хранятся портреты Иоанна и Алексия.

Пантократор много раз подвергался набегам пиратов и страдал от пожаров, но всякий раз восстанавливался на пожертвования благочестивых мiрян. Пожары разрушали монастырь в 1393, 1773 и 1948 годах, но, к счастью, он не был разрушен полностью. В конце XIV – начале XV века обитель быстро росла территориально и укреплялась экономически, во многом благодаря помощи византийских правителей из династии Палеологов. Особую поддержку монастырю оказывали императоры Иоанн V и Мануил II Палеологи, а также ряд молдавских господарей. После падения Константинополя в 1453 году и утверждения на Балканах турок монастырь Пантократор стал жить на пожертвования правителей стран, расположенных в низовьях реки Дунай. Во времена турецкого ига он не терял жизнеспособности, несмотря на огромные долги. Благодаря неоценимой помощи со стороны греков-господарей дунайских княжеств Пантократор пережил экономический кризис и выстоял в тяжелейших испытаниях. С 1574 года и по настоящее время Пантократор занимает 7-е место в афонской иерархии.

Немаловажную роль в сохранении обители сыграли и русские цари. Одной из благодетельниц обители Пантократор была Российская императрица Екатерина II. Специальным указом 1762 года она разрешила монахам Пантократора организовать сбор пожертвований в России. После сильного пожара 1773 года значительные усилия для восстановления обители приложил старший ризничный обители монах Кирилл. Монастырь был вскоре полностью восстановлен.

Пантократор и его окрестности часто избирали местом своего проживания весьма значительные для государства лица и выдающиеся по образу жизни святые. В разное время здесь проживали видные деятели греческой православной церкви, такие как Патриарх Каллист II Ксанфопул, святитель Григорий Палама, святители Симеон и Феона – фессалоникийские архиепископы, святитель Иосиф, митрополит Тимишоарский и преподобный Паисий Величковский.