Императрица Дугу в то время тоже ненавидела Ян Юна. Императрицу раздражали мужчины, которые не были преданы своим женщинам. По этой причине она так хорошо заботилась об императоре Суй Вэнь-ди, чтобы тот не встречался с другими наложницами. Каждый день она отправлялась с императором Суй Вэнь-ди во двор, ждала и после его работы возвращалась вместе с ним. По вечерам она сидела рядом с императором Суй Вэнь-ди, пока он читал бумаги при свете лампы. Таким образом, несмотря на то, что у императора было много наложниц, у него не было возможности приблизиться к ним. Также она внимательно следила и за своими сыновьями.

Когда Ян Юн подрос, императрица Дугу выбрала для него наложницу по фамилии Юань и ожидая, что те сблизятся. Но Ян Юн не полюбил Юань, поэтому всегда игнорировал ее и жил с другими наложницами. В течение нескольких лет у Ян Юна появилось десять сыновей, ни один из которых не родился от наложницы Юань. Императрица Дугу была разгневана, она позвала Ян Юна, чтобы прочитать ему нотацию, сказав: «Юань, которую я выбрала для тебя, так хороша, ты должен стать близок с ней и не отдавать предпочтение другим женщинам!» Ян Юн взглянул на нее и ушел, не сказав ни слова. Так случилось, что несколько днями позже Юань внезапно перенесла сердечный приступ и вскоре после этого умерла. Императрица Дугу заподозрила, что она была убита, и что убийцей, вероятнее всего, стала любимая наложница Ян Юна – Юнь Чжаосюнь. Она вызвала к себе Ян Юна и строго с ним поговорила, велев расследовать дело. Ян Юн не сказал ей в лицо «нет», но когда он вернулся, он приказал наложницу Юнь Чжаосюнь заняться внутренними делами Восточного дворца, явно желая, чтобы та стала его официальной женой. Императрица Дугу была в ярости и часто посылала людей в Восточный дворец, чтобы узнать, что происходит с Ян Юном, чтобы сообщать об этом императору Суй Вэнь-ди. Со временем император стал все больше и больше недоволен принцем.

Император и императрица были недовольны принцем, эта новость дошла и до ушей их второго сына, Ян Гуана. Ян Гуан втайне взволновался. Хотя он был коронован князем царства Цзинь и был губернатором Янчжоу, он давно подумывал о том, чтобы отобрать у наследного принца трон и самому стать императором. Теперь, когда у него наконец-то появился шанс, он посоветовался со своим старейшим министром Ян Су и придумал несколько уловок. Ян Гуан знал, что его отец был против экстравагантности и что его мать ненавидела неверных мужчин, поэтому он начал изменения с себя. Когда он был в столице, он всегда носил простую одежду и никогда не носил украшений, а его карета и сопровождающие выглядели еще более скромными. Однажды, когда император Суй Вэнь-ди посетил его в его резиденции, он с удивлением увидел, что в доме мало мебели, его кровать и палатка были старыми, а музыкальные инструменты покрыты пылью. Когда императрица Дугу спросила его о том, где он живет, тот ответил: «Я не смел ослушаться приказа своей матери, жил только с женой Сяо». Императрица ответом осталась весьма довольной.

Однажды Ян Гуан должен был вернуться в армию, и по дороге он зашел попрощаться с императрицей Дугу, и когда они встретились, Ян Гуан не смог удержать слезы, сказав: «Я нахожусь вдали от дома и не могу служить своим родителям, но мое сердце всегда будет обращено к отцу и матери». Императрица Дугу была тронута до слез. Ян Гуан добавил: «Я наивен и глуп, мне не сравниться с моим старшим братом. Но я не знаю, что произошло в последнее время, похоже я обидел его, потому что он всегда игнорирует меня. Возможно, когда-нибудь я умру от его руки». Услышав эти слова, императрица Дугу гневно сказала: «Ян Юн так не почтителен, я дала ему наложницу Юань, а он посмел убить ее и рожать сыновей от плохих женщин. В будущем, когда он станет императором, тебе придется преклонить перед ним колено, я не могу даже думать об этом. Если он угнетает тебя еще до моей смерти, что будет когда я умру, я не знаю, как он будет продолжать вредить тебе!» Ян Гуан был очень рад это услышать, слезы полились рекой.