После образования СССР была создана прокуратура Верховного Суда СССР. Конституция возложила на Верховный Суд и прокуратуру Верховного Суда СССР задачу «утверждения революционной законности на территории СССР». В главе 9-й Конституции «Об Объединенном Государственном Политическом управлении» говорилось, что «надзор за действиями ОГПУ Союза ССР осуществляется прокурором Верховного Суда СССР» на основании специального постановления ЦИК Союза ССР. Согласно ст.63 Конституции СССР и статей 10 и 12 Положения об ОГПУ, прокуратура, в частности, наблюдала за производимым дознанием, следствием, рассмотрением дел в административном порядке, за местами лишения свободы, находившимися в ведении ОГПУ. Ст. 19 установила при прокуратуре Верховного Суда СССР наличие двух помощников: одного – для наблюдения за ОГПУ, другого – для наблюдения за военной прокуратурой. Согласно статье 61 Конституции СССР, ОГПУ являлся органом, объединявшим все ГПУ союзных республик, но в Закавказье существовала Закавказская ЧК.

Отношения с органами прокуратуры у чекистов не были безоблачными еще и потому, что прокуроры часто указывали на превышение ими своих прав и на отступления от буквы закона. Это вызывало недовольство, в т. ч. и Председателя ОГПУ. 9 марта 1924 г. он писал Фельдману: «Сейчас проходит съезд работников юстиции. Прошу Вас следить за работами его и потом передать мне лично важнейшее. Кроме того, прошу собрать материал для меня, как НКЮст в своих циркулярах и разъяснениях понимает и разъясняет классовый принцип юстиции и приговоров, поскольку этот принцип относится к определению самого преступления и поскольку он является привилегией самого преступника или происходящего из правящего класса, т.е. пролетариата или вообще из «бедняков»^>24.

Сложными отношения Председателя ОГПУ с НКЮ остались и в последующие годы. Незадолго до кончины, вечером 4 февраля 1926 г. Дзержинский просит В.Р.Менжинского «составить записку в П/бюро о практике и теории НКЮст, которые ничего общего с государством диктатуры пролетариата не имеют, а составляют либеральную жвачку буржуазного лицемерия» и «сделать выписки из премудростей Крыленко и других». «И до тех пор, – продолжает он,– пока НКЮст будет тем, чем он есть, наше государство не сможет быть в безопасности без прав ОГПУ, за которые как ведомство вовсе не держимся. Во главе прокуратуры должны быть борцы за победу революции, а не люди статей и параграфов, для которых безразлично, контрреволюция или простой мордобой, или нарушение уличного порядка.

Я уверен, что никто иной, а именно НКЮст готовит для пошлой «демократии» идеологические силы и растлевает революцию»^>25.

При осуществлении контроля за работой чекистов Дзержинский тесно взаимодействовал с Наркоматом Рабоче-Крестьянской инспекции. Сотрудники наркомата вскрывали нарушения законности в деятельности органов безопасности. Каждый факт доводился до сведения их руководства. Роль НК РКИ не ограничивалась укреплением законности, он помогал чекистам в улучшении работы, хотя эти усилия не всегда встречали понимание, о чем свидетельствуют совещания сотрудников НК РКИ. Они говорили, что связь с ЧК «чисто внешняя» (Вологда), «с ЧК отношения не налажены, так как этот орган никак не может встать на путь законности» (Вятка), «были случаи, когда сотрудники РКИ, идя на ревизию, попадали прямо в губподвал (тюрьму), прекращались ревизионные действия»^>26.

По партийной линии контроль Дзержинского был более жестким и всесторонним, чем по линии государственный. Не мог член ЦК РКП (б)-ВКП (б) допустить стихийного развития каких-либо отрицательных процессов в ВЧК-ОГПУ. Ему помогали не только все партийные структуры, но и члены партии, занимавшие ответственные посты в высших и местных органах госаппарата. Работа чекистов рассматривалась на заседаниях парткомов от Политбюро ЦК до уездных комитетов. Дзержинский и его заместители часто выступали с различными докладами, отчетами, сообщениями на заседаниях Политбюро, Оргбюро, Секретариата ЦК и пленумах ЦК РКП (б)-ЦК ВКП (б).