Брак был счастливым. В положенное время у них родилась дочь, а затем и сын, но… через пять дней после родов Александра скончалась. Десять лет Павел Александрович не мог смотреть на женщин, а потом вдруг повстречал замужнюю даму Ольгу Пистолькорс и самым коварным образом отбил ее у мужа, причем сделал это с самыми серьезными намерениями: когда Ольга добилась развода, Павел Александрович на ней женился.
Это было неслыханной дерзостью и нарушением неписаных правил Дома Романовых! Разгневанный император запретил Павлу до конца жизни возвращаться из Италии, где произошло бракосочетание, в Россию.
Но этого Николаю II показалось мало, и он лишил Павла воинского звания, а заодно и полагавшегося ему жалованья. Поразмыслив, император решил добить Павла и передал его детей от первого брака на попечение его брата Сергея Александровича.