Для разработки мер по улучшению деятельности разведки была создана специальная комиссия. В нее вошли: И.В. Сталин, Ф.Э. Дзержинский и ряд других лиц. На основе разработанных комиссией предложений Дзержинский 12 декабря отдал следующее распоряжение управляющему делами ВЧК: «Прошу издать секретный приказ за моей подписью о том, что ни один отдел ВЧК не имеет права самостоятельно отправлять за границу агентов или уполномоченных или осведомителей без моего на то согласия. Составить проект приказа об Иностранном отделе ВЧК (с ликвидацией Иностранного отдела Особого отдела ВЧК) и начальнике его и о том, что все агенты за границу от ВЧК могут посылаться только этим отделом».

20 декабря 1920 года Дзержинский подписал приказ ВЧК № 169, который явился административно-правовым актом, оформившим создание советской внешней разведки.

В январе 1922 года ВЧК была реорганизована в Государственное политическое управление (ГПУ, а после создания СССР – ОГПУ) при НКВД. Иностранный отдел – внешняя разведка – вошел в состав созданного при ОГПУ Секретно-оперативного управления и стал называться ИНО СОУ ОГПУ, а впоследствии просто ИНО ОГПУ. Возглавил отдел в качестве исполняющего обязанности Яков Христофорович Давтян, затем ненадолго Могилевский, погибший в авиакатастрофе, которого на многие годы сменил Михаил (Мейер) Абрамович Трилиссер.

Сталин будет долгое время работать с ним и, в конце концов, решит его судьбу, поэтому нельзя не написать о нем.

Трилиссер был старым революционером, в годы первой русской революции работал в военных организациях большевистской партии, встречался с Дзержинским. В 1906 году организовал смелый побег с Выборгской гауптвахты около сотни солдат и матросов, которых должны были судить за участие в вооруженном восстании. Был пойман и осужден к бессрочной каторге в Сибири. После революции вошел в состав советского военного комиссариата по Восточной Сибири и Забайкалью, стал правительственным эмиссаром Амурской области Дальневосточной республики. Создал первую на советском Дальнем Востоке специальную шифровальную службу для связи с Центром и начал формировать разведывательный агентурный аппарат.

Передаваемые им сведения представляли интерес не только для руководства ВЧК, но и для Наркомата по иностранным делам, что в своей телеграмме отметил Чичерин.

В феврале 1921 года Трилиссер, прибыв в Москву на Х съезд РКП(б) в качестве делегата от Забайкалья, назад не вернулся: его оставили для работы в ИНО ВЧК, и после гибели Могилевского он стал начальником ИНО.

Положение об ИНО определяло и задачи внешней разведки, которые в порядке их приоритетности формулировались следующим образом:

выявление на территории иностранных государств контрреволюционных организаций, ведущих подрывную деятельность против нашей страны;

установление за рубежом правительственных и частных организаций, занимающихся военным, политическим и экономическим шпионажем;

освещение политической линии каждого государства и его правительства по основным вопросам международной политики, выявление их намерений в отношении России, получение сведений об их экономическом положении;

добывание документальных материалов по всем направлениям работы, в том числе таких материалов, которые могли бы быть использованы для компрометации как лидеров контрреволюционных групп, так и целых организаций;

контрразведывательное обеспечение советских учреждений и граждан за границей.

Для решения этих задач было создано шесть географических секторов, которые и должны были заниматься агентурной работой за рубежом. Впоследствии они стали называться отделениями, и число их увеличивалось по мере роста количества резидентур, расширения географических рамок работы и появления новых направлений деятельности разведки. Общий штат ИНО вырос с 70 в 1922 году до 122 человек в 1930 году, из них 62 были сотрудниками резидентур за рубежом.