Поставленный перед свершившимся фактом император, как не был близок к дяде, вынужден был применить жёсткие меры. Царским указом от 14 октября 1902 года Павел Александрович, как лицо, не выполнившее волю монарха навсегда изгонялся из России, лишался всех званий и титулов, и причитавшегося ему денежного содержания.

Павел и Ольга остались за границей. Они обосновались во Франции и поселились во дворце Булонь-сюр-Сен под Парижем.

Законные дети Павла Александровича оставались в России, и видеться с отцом более не могли.

В 1903 году в новом браке у великого князя родилась дочь Ирина. Поскольку брак не был признан в России, дети великого князя не имели официального статуса и родовой фамилии, они носили фамилию своей матери. Чтобы разрешить создавшееся положение в 1904 году баварский принц-регент Луитпольд даровал Ольге Пистолькорс, ее сыну Владимиру и новорождённой дочери Ирине титул графов фон Гогенфельзен.

В 4 февраля 1905 году был убит великий князь Сергей Александрович. Павел Александрович был очень близок с покойным, в его семье воспитывались дети Павла. Поэтому не прибыть на похороны брата Павел Александрович просто не мог. Это понимали и при Дворе. Поэтому император Николай II вернул великому князю звание генерал-адъютанта и разрешил вернуться в Россию, но только без морганатической супруги.

После торжественной церемонии погребения великого князя Сергея Александровича, Павел встретился с Николаем II, между ними произошло примирение.

Однако Павел Александрович хотел большего. Он начал настаивать на признании своего брака с Ольгой Пистолькорс и рождённых детей. За брата стали хлопотать великие князья Владимир и Алексей Александровичи.

Жёсткую позицию заняла вдовствующая императрица Мария Фёдоровна, не одобрявшая поступок Павла.

На просьбу Павла Александровича Николай II ответил письмом, которое заканчивалось следующими строками: «Во всяком случае за мною остаётся право решения вопроса о времени, когда тебе разрешено будет приехать сюда с женою. Ты должен терпеливо ожидать, не забегая вперёд. Позволив тебе сейчас приезжать в Россию время от времени, я желал тебе этим дать утешение твоим детям видеться с тобою. Они потеряли в дяде Сергее, в сущности, второго отца. Не забудь, что ты покинул их лишь для личного своего счастья».

Это письмо сильно расстроило супругов. В конце концов, после долгой переписки вопрос был урегулирован. Ольге Валериановне разрешили прибыть в Россию с мужем, но только в ранге жены генерал-адъютанта.

Как вспоминал начальник канцелярии министерства Двора генерал А.А. Мосолов: «Павел Александрович был искренне благодарен своему племяннику за урегулирование трудного вопроса. Но мелкие препятствия создали у него осадок неприязни к императрице, хотя наружно отношения казались вполне сердечными».

На наш взгляд «осадок неприязни» остался и у Ольги Валериановны, не вполне довольной своим положением при муже великом князе. Свои обиды она высказывала мужу, находившемуся под сильным её влиянием. А обижаться было из-за чего. При обсуждении статуса графини Гогенфельзен, через её супруга были выдвинуты определённые требования. Однако Николай II под воздействием императрицы, некоторые из этих требований вычеркнул.

Хотя теперь Ольга Валериановна получила признание, и была представлена мужем родственникам, великим князьям, однако она ожидала большего. Горечь обиды отложилась в её сердце.

Супруги поселились в Царском Селе, где был отстроен новый дворец, по соседству с императорской резиденцией, в стиле французского короля Людовика XV, украшенный дорогими французскими гобеленами и картинами великих европейских художников.