– Охотьтесь на французов, сир! Это наши худшие волки!

Всего через несколько недель после получения дурных вестей из Барселоны и Лиссабона большая часть Буэн-Ретиро сгорела дотла во время великолепного карнавала в феврале 1641 года, что дало новый повод для жалоб на Оливареса.

– Это место было проклято, – говорили ворчуны.

Невосполнимую потерю драгоценных произведений искусства в результате пожара пришлось компенсировать «добровольными» пожертвованиями аналогичных вещей из частных коллекций. На восстановление дворца у депутатов кортесов потребовали 60 000 дукатов, 20 000 – у муниципалитета Мадрида, 30 000 – у Совета Кастилии и 10 000 – у Военного совета, в то время как солдатам на поле боя не платили жалованье и они голодали.

В конце 1641 года из Фландрии пришла ещё одна весть, которая снова повергла короля в уныние. Кардинал-инфант Фернандо, чьё хрупкое здоровье было подорвано постоянными кампаниями и ослаблено лихорадкой, умер в Брюсселе. Это событие сделало продолжение войны в Нидерландах более безнадёжным, чем когда-либо.

 Тем временем высокомерный Оливарес совершил одно деяние, за которое даже его собственные родственники никогда не простили его. Как известно, единственная дочь графа-герцога умерла вскоре после своего замужества, и он практически усыновил своего племянника дона Луиса де Аро, сына маркиза дель Карпио, в качестве своего наследника. Но внезапно при дворе появился молодой человек лет двадцати восьми, до того времени известный под другим именем (Хулио) и выдававший себя за мелкого правительственного чиновника в Мадриде. Теперь его звали Энрике Фелипе де Гусман, и он был представлен королю как сын Оливареса. Хотя этот бастард не отличался ни воспитанием, ни красивой внешностью, и его образ жизни был далёк от идеального, министр был без ума от него. Следуя своим собственным наклонностям, его сын женился на даме из хорошей семьи в Севилье, но Оливарес имел на него более высокие виды и, приложив огромные и дорогостоящие усилия, добился признания брака сына недействительным. Но как бы граф-герцог не благоволил к своему бастарду и как бы щедро Филипп не наделял его по просьбе своего фаворита различными званиями, деньгами и должностями, ни знать, ни даже родственники графа-герцога не считали его равным себе. Всеобщее недовольство министром ещё больше усилилось, когда Оливарес добился от коннетабля Кастилии, герцога Фриаса, руки его дочери для Энрике Фелипе де Гусмана. По поводу чего один из поэтов с улицы Майор написал следующую эпиграмму:

Вы видите здесь великого вождя Веласко,

Для которого нет ничего слишком мерзкого.

Тем не менее, если бы Оливарес узнал его имя, поэту бы не поздоровилось. Как это произошло с Франсиско де Кеведо, бичевавшим порок в своих сатирах. Пока он не критиковал Оливареса, никто не осмеливался его трогать. Но однажды король обнаружил под своей салфеткой за ужином «Ужасный мемориал», написанный Кеведо, который начинался следующим образом:

Радуйся, Филипп, король, который

В страхе неверных заставляет бодрствовать!

Но из-за твоего собственного глубокого сна

Никто не любит и не боится тебя.

Проснись! О, король, все видят, что

Твоя корона на челе льва,

Твой сон годится разве что для сони…

Наградой поэту стала тёмная и грязная темница, где, закованный в цепи, он просидел до падения фаворита.

Перед этим в том же, 1642 году, король узаконил двенадцатилетнего дона Хуана Хосе, родившегося от актрисы Марии Кальдерон. Подросток был доставлен в Мадрид и королевским указом признан сыном Филиппа IV.  Естественно, Изабелла была возмущена, ибо, по её мнению, это ущемляло права Бальтазара Карлоса. Она не сомневалась, что это Оливарес побудил короля легитимировать своего любимого бастарда, чтобы у министра был повод сделать то же самое со своим.