Только эвакуация Русской Армии генерала Врангеля из Крыма в ноябре 1920 г. привела в Константинополь на 126 кораблях 145 693 человека, не считая судовых команд, в том числе 50 тыс. чинов армии и 6 тыс. раненых.

Командование армии, оказавшись за границей, борьбу с большевизмом не считало законченной и всеми силами стремилось сохранить личный состав для будущих «сражений». Но оказавшись в тяжелом положении, когда начались массовые заболевания и у тысяч людей открылся туберкулез в острой и быстро прогрессирующей форме (на февраль 1921 г. численность армии составила 48 319 человек, среди которых половина были офицеры), П.Н. Врангель пришел к мысли сохранить армию в «полускрытом виде». Тем более что положение офицеров и вне армии было не намного лучше. Им приходилось работать продавцами газет, посудомойками, грузчиками, чернорабочими и т. д.

1922–1924 гг. стали критическими в судьбе офицеров эмигрантов. Армия не могла больше существовать как вооруженная сила, хотя бы в связи с тем что все трудоспособные военнослужащие находились на собственном содержании.

Приказом № 82 от 8 сентября 1923 г. офицерские союзы и общества зачислялись в состав армии и передавались под руководство представителей Главного командования в соответствующих странах. А почти через год – 1 сентября 1924 г. было объявлено о создании Русского общевоинского союза (РОВС), который включал в себя всех солдат и офицеров Белых армий, оставшихся верным идеям Белого дела, и главной его задачей стало сохранение офицерских кадров для развертывания в будущем новой русской армии.

Организации РОВСа были трех типов:

1) объединяющие кадры войсковых частей 1-го армейского и Донского корпусов, кавалерийской и кубанской дивизий;

2) объединяющие чинов РОВСа, проживающих в одном населенном пункте;

3) объединяющие военнослужащих по принадлежности в прошлом к частям Русской армии, специалистам и родам войск.

В начале 30-х гг. РОВС насчитывал до 40 тыс. членов и имел следующую структуру:

• 1-й отдел (Франция, Англия, Испания, Италия, Швейцария, Голландия, Скандинавские страны, Польша, Египет, Сирия и Персия),

• 2-й отдел (Германия, Австрия, Венгрия и Прибалтика),

• 3-й отдел (Болгария и Турция),

• 4-й отдел (Югославия, Греция и Румыния),

• 5-й отдел (Бельгия и Люксенбург),

• 6-й отдел (Чехословакия),

• Дальневосточный отдел (Китай),

• Военно-морской союз, объединяющий офицеров флота.

После смерти генерала П.Н. Врангеля РОВС возглавляли генералы А.П. Кутепов (1928–1930), Е.К. Миллер (1930–1937), Ф.Ф. Абрамов (1937–1938) и А.П. Архангельский (1938–1957).

Кроме РОВСа долгое время существовали различные объединения и комитеты бывших «добровольцев».

В 1925 г. врангелевский «Русский совет» подсчитал, что количество русских беженцев, которых можно поставить «под ружье» в Германии, Франции, Югославии, Греции, Турции, Китае, Латвии, Чехословакии, Болгарии, достигало 1 млн 158 тыс. человек. Но такое количество преданных «белой идее» вызывает сомнение.

До Второй мировой войны идея продолжения борьбы с большевизмом владела умами большинства офицеров, и РОВС в период 20—30-х годах был своего рода источником антикоммунистической активности.

Бывший командир Добровольческого корпуса Александр Павлович Кутепов в РОВСе (в Париже) создал специальный боевой отдел для подрывной работы внутри России. Его «организация» подготовила десятки активных борцов с советским режимом, переходивших границу и действовавших на советской территории. В основном это были молодые офицеры, произведенные в Белой армии из юнкеров, и выпускники зарубежных русских кадетских корпусов. У Кутепова были свои «окна» в Советский Союз. Его агенты, например, в июне 1927 г. совершили поджог общежития работников ОГПУ на малой Лубянке. После этого они пытались бежать за границу, но, окруженные чекистами в Смоленской области, застрелились.