14 марта приказом МВД СССР №002 была утверждена структура МВД, согласно которой было сохранено Главное управление пограничных войск, начальником которого остался генерал-майор П. И. Зырянов.

Но созданная структура МВД была громоздка и малоэффективна. Поэтому, Президиумом ЦК КПСС 8 февраля 1954 г. было принято принципиальное решение о выделении органов безопасности из структуры МВД в самостоятельное ведомство и Указом Президиума Верховного Совета СССР от 13 марта 1954 г. был создан Комитет государственной безопасности при Совете Министров СССР (КГБ при СМ СССР), в который вошли главные управления, управления и самостоятельные отделы бывшего министерства государственной безопасности. Главное управление пограничных войск осталось в ведении МВД. Таким образом, данное решение не было оптимальным. Кроме того, 9 июня 1956 г. ГУПВ, Главное управление внутренних и конвойных войск и Военно-строительное управление были объединены в Главное управление пограничных и внутренних войск (ГУПВВ).

Однако вскоре Постановлением Совета Министров СССР охрана государственной границы Советского Союза была передана в ведение КГБ при Совете Министров29, в этой связи постановлением от 28 марта 1957 г. №328—159сс пограничные войска были переданы в состав КГБ.

Во исполнение данного постановления, совместным приказом МВД и КГБ от 2 апреля 1957 г. №0017/00161 пограничные войска были выведены из МВД и вошли в состав КГБ на правах Главного управления пограничных войск КГБ при СМ СССР. Цель проведенной реорганизации состояла в том, чтобы освободить МВД от «несвойственных ему функций», сосредоточив защиту государственной безопасности в рамках единого, специально для этого предназначенного ведомства, с присоединением к данной структуре (КГБ) такой силовой структуры, как пограничные войска, создав тем самым мощную опору государства.

Выполняя указания ЦК КПСС и Советского правительства КГБ при СМ СССР провел ряд мероприятий по перестройке охраны государственной границы СССР. Одним из важнейших направлений в этой перестройке явилось дальнейшее совершенствование атентурно-оперативной работы по обеспечению охраны границы как одного из решающих условий успешного выполнения пограничными войсками поставленных перед ними задач.

Перевод пограничных войск в КГБ, на тот период, положительно сказался на охране государственной границы, заметно улучшилась координация деятельности оперативных органов погранвойск и территориальных органов госбезопасности, а также наладился обмен информации между ними.

В ГУПВ были проведены некоторые структурные изменения. Так, были укрупнены пограничные округа и изменена организационная структура пограничных войск: округ (пограничная группа), отряд, участок, застава, контрольно-пропускной пункт (кпп). Статус разведки был повышен до управления в ГУПВ и отделов в управлениях округов и в пограничных отрядах. Начальник разведуправления по должности стал заместителем начальника ГУПВ, начальники разведотделов пограничных округов – заместителями командующих войсками округов, начальники разведотделов пограничных отрядов – заместителями начальников отрядов. В связи с появлением новых средств ведения разведки в разведуправлении были созданы отделы радиотехнической, авиационной и морской разведки, а также информационно-аналитический. Получаемая разведкой информация в виде ежедневных сводок, докладывалась председателю КГБ, начальнику ГУПВ, начальникам округов и отрядов.

Продолжала совершенствоваться и нормативная правовая база пограничных войск. Так, указом Президиума Верховного Совета СССР от 5 августа 1960 г. было утверждено «Положение об охране государственной границы Союза Советских Социалистических Республик». В ноябре 1982 г. на седьмой сессии Верховного Совета СССР десятого созыва был принят Закон СССР «О государственной границе СССР».