Во главе Государственной прокуратуры в качестве Прокурора Республики стоял Народный Комиссар юстиции. Прокуратура представляла собой отдел, входящий в структуру Народного Комиссариата юстиции.

В непосредственном подчинении Прокурора Республики находились прокуроры каждой губернии и области, которые назначались Прокурором Республики как из работников центрального аппарата, так и из числа кандидатов, выдвигаемых руководящими местными органами. Увольнение, перемещение и отстранение от должности прокуроров производились по распоряжению Прокурора Республики.

При губернских прокурорах состояли назначаемые и отзываемые Прокурором Республики по представлению прокурора соответствующей губернии или области помощники прокурора. Обязанности между ними распределял Прокурор губернии или области.

Согласно принятому 11 ноября 1922 г. Положению о судоустройстве РСФСР, утвержденному IV сессией ВЦИК, при отделе прокуратуры Народного Комиссариата юстиции для производства срочных расследований по важнейшим делам были введены должности народных следователей.

Декретом ВЦИК было утверждено Положение о Народном Комиссариате юстиции. Этим законом вводились нормы, определяющие правовое положение отдела прокуратуры в составе Народного Комиссариата юстиции.

В соответствии с этими положениями на отдел прокуратуры возлагались следующие полномочия:

1) осуществление надзора от имени государства за законностью действий всех органов власти, хозяйственных учреждений, общественных и частных лиц путем возбуждения уголовного преследования против виновных и опротестования нарушающих закон постановлений, а также наблюдение за ведением за границей уголовных и гражданских дел, в коих заинтересовано Правительство РСФСР;

2) непосредственное наблюдение за деятельностью органов следствия и дознания в области раскрытия преступлений;

3) наблюдение за правильным функционированием мест лишения свободы и исправительно-трудовых учреждений и разработка совместно с Народным Комиссариатом внутренних дел (НКВД) правил об исправительно-трудовой системе в отношении лиц, приговоренных к лишению свободы или принудительным работам без лишения свободы; 4) осуществление функций прокурорского надзора в Верховном Суде РСФСР и его коллегиях согласно Положению о судоустройстве и процессуальным законам; 5) производство следствия по предложениям ВЦИК, СНК и поручениям Прокурора Республики и его помощников; 6) назначение, перемещение и отзыв губернских прокуроров и помощников; учет личного состава прокурорского надзора.

Структура отдела прокуратуры Народного Комиссариата юстиции состояла из следующих подотделов: 1) общего управления и личного состава прокурорского надзора; 2) общего надзора; 3) надзора за органами следствия, дознания и местами лишения свободы; 4) государственного обвинения и следственной части.

23 ноября 1923 г. Центральным Исполнительным Комитетом (ЦИК) СССР утверждается Положение о Верховном Суде СССР. В соответствии с этим Положением создается Прокуратура Верховного Суда СССР; Прокурор Верховного Суда СССР и его заместитель должны назначаться Президиумом ЦИК СССР.

17 декабря 1933 г. постановлением ЦИК и СНК СССР было утверждено Положение о Прокуратуре Союза ССР. В соответствии с этим Положением Прокуратура Верховного Суда СССР была упразднена. В основу организации и деятельности Прокуратуры СССР были положены принципы единоначалия и централизации.

Основными задачами Прокуратуры СССР становятся укрепление социалистической законности и охрана общественной собственности от покушений со стороны антиобщественных элементов на всей территории СССР.