Несмотря на любовные приключения Филиппа, окружающие считали его семейную жизнь счастливой, хотя растущее напряжение между королевой и Оливаресом в некоторой степени отдалило супругов. Однако Изабелла была хорошей женой и, разделяя досуг короля, в следовании обычаям своей новой родины была даже большей испанкой, чем он – испанцем. Кроме того, что её демонстративно отстраняли от власти, у неё были чисто женские причины неприязни к Оливаресу.

Хоптон, любивший посплетничать, пишет в одном из писем:

– Он (Оливарес) также сказал несколько резких слов адмиралу (Кастилии) за то, что тот отзывался при короле пренебрежительно о его новом доме; и королева тоже… говорила с ним об этом, поскольку у неё сложилось определённое мнение о некоторых тайных удовольствиях, которые там доставлялись королю.

Почти каждый год Изабелла рожала по ребёнку, хотя из всего её потомства пока выжил только Бальтазар Карлос. Родители боготворили мальчика настолько, насколько позволяли деспотичные требования этикета, и он был также обласкан всем двором. Маленький инфант рано развил в себе любовь к верховой езде, и на полотнах кисти Веласкеса он часто предстаёт охотником или солдатом. Дон Фернандо из Фландрии присылал племяннику красивые миниатюрные доспехи и оружие, а в 1633 году подарил ему лошадку, которую сам Бальтазар Карлос называл «маленьким дьявольским жеребцом-пони», ибо её пришлось довольно долго усмирять, прежде чем инфанту разрешили сесть на неё верхом. Тем не менее, этот пони стал любимым животным мальчика.

Изабелла сыграла значительную роль в воспитании обожаемого сына, поощряя у него интерес к музыке и театру. И Бальтазар Карлос был «преданно привязан» к своей матери.

Ограниченное число ближайших королевских родственников составляло проблему не только для Филиппа IV, но и для государства. Из двух его братьев один, дон Карлос, умер, а другой, кардинал-инфант Фернандо, героически сражался во Фландрии. Другой родни у короля не было, кроме малолетнего наследника и внебрачных детей немногим старше Бальтазара Карлоса, в то время как австрийским Габсбургам можно было доверить должность вице-короля за морями, но не исполнительную власть в испанских провинциях, тем более, что высшая знать там с недоверием относилась к Оливаресу.

Основная трудность заключалась в Португалии, которой ещё Филипп II предоставил широчайшую автономию. Результатом его политики стало возвышение дома Браганса, имевшего больше прав на португальскую корону, чем испанские Габсбурги. Нынешний герцог Браганса женился на сестре испанского герцога Медина Сидония, главы рода Гусманов, представителем которого был и Оливарес, и при обычных обстоятельствах мог бы стать идеальным кандидатом на пост вице-короля. Но в условиях разорения Испании и всеобщего недовольства растущими налогами могущественный и популярный Браганса вызывал подозрения.

В конце концов, решено было привезти из Италии кузину Филиппа IV, вдовствующую герцогиню Мантуанскую, с тем, чтобы назначить её наместницей Португалии. В ноябре 1634 года Маргарита Савойская торжественно въехала в Мадрид, и на боях быков и других празднествах, устроенных в её честь, она сидела рядом с королём и королевой, что мадридцы сочли большой честью, оказанной ей для повышения авторитета перед тем, как она отправится в Барселону. Таким образом, главной задачей этой ставленницы Оливареса было держать в повиновении португальцев.

В Каталонии было ещё более неспокойно, чем в Португалии. Всё лето ходили разговоры о том, что король отправится туда просить больше денег, и каталонцы были в гневе от самой этой идеи.