Ага, или привратник, регулировавший сообщение между Сералем султана и внешним миром, был главой белых евнухов, контролировавших официальную часть дворца и персонал. Он, по сути, был церемониймейстером, а также доверенным лицом султана. Ему подчинялась целая иерархия других белых евнухов, выполнявших разные функции камергеров двора. Параллельно ему существовал начальник черных евнухов, ага, контролировавший тех, кто служил в помещениях для женщин, впоследствии переведенных внутрь Сераля. Использование евнухов, неизвестных ранним османским султанам, было обычаем, заимствованным у Византийской империи, которая в свою очередь позаимствовала его на Востоке. Поскольку ислам запрещал кастрацию, османы ввозили евнухов из христианских стран, в то время главным образом с Кавказа, при посредстве торговли, которая, как и торговля рабами, в основном находилась в руках евреев.

Главный белый евнух контролировал весь персонал двора султана, в то время состоявший примерно из 350 человек. Все они были бывшими христианами, как и все гражданские и большинство военных чиновников Османского государства, от великого визиря и его коллег-визирей до провинциальных губернаторов, владельцев фьефов, сборщиков налогов и исполнительных чиновников различных рангов. Все они входили в «Рабскую челядь» султана, прототипом которой был Сераль. Они были личными рабами своего хозяина и оставались таковыми на протяжении всей жизни, независимо от любого продвижения по службе и властных полномочий, которых они могли достичь. Это был продукт синтеза двух институтов, военного и гражданского. Он изначально произошел от девширме, или закона о наборе, который европейцы назвали «законом внесения дани детьми». На основании его был создан корпус янычар, после чего он развился и при Мураде II стал инструментом не только военного, но и гражданского управления. Мурад создал новый более эффективный правящий аппарат взамен старого, который унаследовал и, в свою очередь, усовершенствовал его сын.

Сила и значимость этой системы заключалась главным образом в том факте, что она не была наследственной, а значит, исключала формирование потомственной аристократии и знати, такой как старинные османские роды. Она предохраняла от политического соперничества абсолютную власть султана. Имелись основания утверждать, что, если бы рабами султана были мусульмане, они стали бы злоупотреблять этой привилегией. Их родственники в провинциях угнетали бы крестьянство, отказывались платить налоги, восставали против местных властей. «Но если христианские дети принимают ислам, они становятся ревностными в вере и врагами своих родственников». Иноземный гость Стамбула, барон Венцеслав Вратислав, позже выразился следующим образом: «Никогда… я не слышал, чтобы о каком-нибудь паше говорили, и не видел ни в Константинополе, ни во всей Турции, чтобы какой-либо паша был турком по рождению; напротив, паша всегда был похищенный, или захваченный в плен, или обращенный в турка».

Источником этой системы была дворцовая школа для пажей султана, расположенная в стенах Сераля. Ее целью были отбор и продвижение под контролем наследственного султана членов этого ненаследственного правящего класса с равными для всех возможностями, элиты, набранной единственно по принципу достоинств. Она действительно была призвана создать для Османского государства меритократию, уникальную для аристократического мира того времени. Стремлением султана Мехмеда было расширение и развитие этой школы, и последующая необходимость в больших площадях, возможно, повлияла на выбор им Сераля в качестве места для его нового дворца. Школа неизменно поддерживалась высоким уважением Мехмеда к образованию и использованию интеллекта и его пониманием потребности в просвещенных чиновниках, как гражданских, так и военных, по мере расширения империи. И под руководством султана она превратилась в крупную школу государственного управления, прекрасно организованную и функционирующую без перебоев.