Оценив ситуацию, министр вызвал своего шурина, маркиза дель Карпио, и попытался примириться с ним, но тщетно.

– Все дворяне в Совете стали моими врагами! – горько жаловался фаворит.

Когда же он заговорил с монархом о своей отставке, ни один мускул на лице у того не дрогнул. После чего привести Филиппа в чувство взялась решительная и находчивая жена Оливареса. Встретившись с королём тем же вечером, она напомнила ему о заслугах своего мужа, а затем рассказала о тех приготовлениях, которые он предпринимал для успешного ведения войны следующей весной. Однако Филипп, кивнув ей с серьёзным выражением лица, ничего не ответил. На следующий день, 14 января 1643 года, от императора прибыл курьер, доставивший королю новые плохие новости. Вдобавок, Фердинанд III яростно нападал в своём письме на Оливареса, что также запало в сознание Филиппа.

В тот день король с мрачным видом направился в апартаменты своей жены. Там, к своему удивлению, он обнаружил Бальтазара Карлоса, которому уже исполнилось четырнадцать лет. Взяв за руку инфанта, Изабелла торжественно призвала мужа:

– Ваше Величество, молю Вас, ради того, что осталось от наследства нашего сына, откажитесь от злого советника, который привёл нас всех к гибели!

По пути из покоев своей жены король проходил по коридору, где его перехватила пожилая женщина, его кормилица Анна де Гевара, которая была изгнана Оливаресом и вернулась без его разрешения. Стоя на коленях, она, в свою очередь, обратилась к Филиппу:

– Прошу Вас, Ваше Величество, прислушайтесь к тем, кто любит Вас больше всего на свете!

После чего подвергла критике поступки королевского фаворита, говоря о национальной разрухе, о страданиях народа, о невозделанных полях, о простаивающих ткацких станках, об иностранцах, захвативших испанские земли, и о людях, которые когда-то были воплощением верности, а теперь восстали против своего монарха… Филипп был ошеломлён и поднял её со словами:

– Ты сказала правду.

В ту же ночь королевскому фавориту был нанесён ещё один удар. Герцогиня Мантуанская, тайно вызванная королевой, бежала из Оканьи, и так быстро, как только могли почтовые лошади тащить её карету, сквозь зимнюю бурю прибыла в Мадрид. Внезапно появившись в кабинете Оливареса, она сказала, что пришла повидать короля и требует ночлега и еды. Министр обошёлся с ней очень грубо и заставил ждать четыре часа, прежде чем предоставил ей плохое жильё в доме казначейства. Однако на следующий день Изабелла помогла ей встретиться с королём в своих собственных апартаментах и Маргарита Савойская с документальными свидетельствами доказала ответственность Оливареса и его приспешников за потерю Португалии.

Ночью Филипп написал своему министру, сообщив, что даёт ему отставку, которой он так жаждал, и что он может отправляться туда, куда пожелает. Оливарес, по словам одного из очевидцев, застыл, словно окаменев, когда читал письмо. Наконец, к нему вернулось спокойствие, он повернулся к жене и сказал ей, что ему нужен отдых и перемена, и вскоре он уедет погостить в Лечес, свою резиденцию примерно в двенадцати милях от Мадрида, поэтому Инес должна немедленно отправиться туда и подготовить всё к его приезду. Догадываясь о правде, она сопротивлялась изо всех сил, но, в конце концов, была вынуждена подчиниться. На следующее утро, согласно своему неизменному многолетнему обычаю, министр рано вошёл в спальню короля и некоторое время молча стоял на коленях. После чего выступил с красноречивым обличением тех, кто оклеветал его в глазах Филиппа. Сначала он сказал, что обстоятельства и злоба его врагов разрушили его планы по возвышению Испании, а затем стал молить короля о том, чтобы сохранить его уважение.