К тому времени, когда огни потускнели, а небо за деревьями над монастырём Святого Иеронима стало жемчужно-серым, вся величественная компания разместилась в своих каретах, чтобы прокатиться вверх и вниз по Прадо, а затем вернуться во дворец, чтобы поспать. Когда полностью рассвело, было обнаружено, что, несмотря на запрет, множество мужчин тайно проникли в сады из Прадо и, спрятавшись в рощах и под сценами, стали свидетелями всего представления, включая сомнительную процедуру переодевания монархов в маскарадные костюмы.

Хмурый старый Алькасар был непригоден для веселья и поэтому Филипп не любил этот дворец, как и Эскориал. А в Аранхуэсе, за исключением весны, всегда было слишком сыро.  Тем не менее, двору приходилось часто жить в Мадридской резиденции или в Пардо. Кроме того, на обширной и красивой территории, прилегающей к монастырю Святого Иеронима у восточных ворот столицы, располагались апартаменты, которые использовались королевской семьей для религиозных или траурных обрядов, а иногда и как дом для гостей.

В 1631 году Оливаресу пришло в голову, что это место можно было бы сделать более привлекательным. Воплощение этой идеи началась с простого выравнивания там почвы, устройства газона, строительства вольера, нескольких фонтанов и летних домиков. Но очень скоро амбиции графа-герцога выросли до небес, и он решил возвести там дворец, который стал для правления Филиппа IV тем же, чем Версаль был для правления Людовика XIV.

Таким образом, это должно было быть идеальное место для развлечения короля, где собиралось бы его поэтическое окружение и на сценах под деревьями или в высоких позолоченных залах для избранной публики могли бы разыгрываться остроумные комедии. С этой целью к территории монастыря была присоединена и прилегающая территория, на которой в окружении озёр, уютных гротов и каскадов за очень короткое время возник великолепный дворец Буэн-Ретиро (Прекрасное Уединение). Он включал в себя роскошные салоны, украшенные полотнами Сурбарана и Веласкеса, и «театральный колизей», оформленный флорентийцем Козимо Лотти, который, помимо всего прочего, был специалистом по театральным механизмам, применявшимся в представлениях на мифологические или рыцарские темы.

Ещё до того, как само здание было закончено, состоялось его торжественное открытие. 1 октября 1632 года король приехал туда, чтобы посмотреть на приготовления к празднику, который должен был состояться в честь рождения наследника у его сестры Марии, королевы Венгрии. Когда он приблизился к новому королевскому дворцу, его встретил Оливарес, который поднёс ему на серебряном подносе золотые ключи от Буэн- Ретиро и титуловал своего повелителя как «Короля планеты» (т. е. «Король-солнце», ибо это светило тогда считалось планетой). И когда позже в недавно построенных залах начались празднества, продолжавшиеся много дней, Филипп и его жена по-настоящему влюбились в это место.

Всего за несколько месяцев до этого в соседней церкви Святого Иеронима на великолепно украшенной сцене перед главным алтарём малыш Бальтазар Карлос принял присягу общин Кастилии в качестве наследника престола. Перед церемонией между дворянами произошли две яростные стычки за право находиться в первых рядах, но всё стихло, когда появился толстенький инфант в малиновом бархате, расшитом золотом, которого вели на помочах дядья Карлос и Фернандо. На поясе у инфанта висели миниатюрный меч и кинжал с эмалью и бриллиантами, а чёрная шляпа была отделана стеклярусом и бриллиантами и украшена алыми перьями.

До сих пор Оливарес старался держать братьев короля на заднем плане, но вскоре из Испанских Нидерландов пришло известие об ухудшении здоровья Изабеллы Клары Евгении. Поэтому решено было отправить туда дона Фернандо, чтобы он после смерти наместницы сменил её. Но тут дон Карлос неожиданно набрался духу и заявил: