Сохранялись Главная военная прокуратура, Главная транспортная прокуратура (с выделением из нее водной), прокуратура по спецделам, сектор надзора за местами лишения свободы и управление делами.

Как и следовало ожидать, новая структура прокуратуры оказалась неудачной. Искусственное разделение по производственному принципу желаемых результатов не дало, и менее чем через три года (при Прокуроре Союза ССР А. Я. Вышинском) органы прокуратуры вновь перешли на работу по функциональному принципу, который, немного видоизменившись, сохранился и по сей день.

1 декабря 1934 года происходит трагическое событие – в Смольном револьверным выстрелом убит член Президиума ЦИК СССР и Политбюро ЦК ВКП (б), секретарь Центрального и Ленинградского областного комитетов ВКП (б) Сергей Миронович Киров. Его убийца Л. В. Николаев задержан на месте преступления.

Расследование этого дела – одна из самых темных страниц истории советской прокуратуры. Прокурор Союза ССР И. А. Акулов оказался в полной зависимости от работников НКВД, которые разрабатывали только одну версию убийства – ту, которую выдвинул И. В. Сталин. Прокурор не только не мог противодействовать незаконным методам ведения следствия, но и фактически сам потворствовал нарушителям законности. Формально Акулов, его заместитель Вышинский и следователь Шейнин допрашивали обвиняемых, но допросы сводились лишь к оформлению заранее «выбитых» показаний.

Трагедия пришлась как нельзя кстати – она развязала руки властям, по всей стране начались массовые репрессии. Чтобы хоть формально не нарушать строгие рамки законности, требовалось совсем немногое – изменить сам закон, что и было немедленно сделано. Подготовить соответствующий документ Сталин распорядился сразу же, в день убийства Кирова.

На следующий день уже было опубликовано постановление, принятое ЦИК СССР 1 декабря 1934 года, «О внесении изменений в уголовно-процессуальное законодательство», подписанное М. И. Калининым и А. С. Енукидзе. Сам текст был написан наркомом внутренних дел Г. Г. Ягодой и лично отредактирован Сталиным. Он устанавливал, что по делам о террористических актах следствие должно вестись не более десяти дней, а обвинительное заключение – вручаться за сутки до рассмотрения дела в суде. Дела эти слушались без участия сторон, то есть без прокурора и адвоката, по ним не допускались ни кассационное обжалование, ни подача ходатайства о помиловании. Приговор к высшей мере наказания приводился в исполнение немедленно. Это значило, что подсудимый полностью отдавался в руки судей, решавших его судьбу, судьи же целиком зависели от властей. Судебную ошибку исправить было в принципе невозможно.

8 декабря 1934 года он совместно с Председателем Верховного суда СССР А. Н. Винокуровым подписал директиву о применении на практике постановления ЦИК от 1 декабря 1934 года, где был дан перечень должностных лиц, покушение на жизнь и здоровье которых должно квалифицироваться как террористический акт. Директива придавала закону обратную силу, то есть распространяла его на деяния, совершенные до его принятия.

Иван Алексеевич занимал пост Прокурора Союза ССР до марта 1935 года.

Ордер на обыск и арест Акулова был выдан заместителем наркома внутренних дел 23 июля 1937 года. В тот же день он был задержан на своей даче в селе Покровском Красногорского района. Обыск произвели и в его московской квартире, в особняке ЦИК на Троицкой улице. И. А. Акулова поместили в Лефортовскую тюрьму. Делом занимались сотрудники госбезопасности Краев и Альтман. Сначала допрашивал Краев – без протокола. 4 августа Иван Алексеевич написал собственноручное заявление на имя следователя Альтмана, вот некоторые строки этого документа.