В связи с назначением в июле 1931 года Балицкого на должность заместителя председателя ОГПУ, Менжинский обратился со специальным письмом к сотрудникам ГПУ Украины. Он отметил, что до переезда в Москву Балицкий 12 лет бессменно стоял во главе органов и войск ГПУ на Украине, «являясь их руководителем, организатором и воспитателем». «Украинские чекисты, – отмечал председатель ОГПУ, – вписали прекрасные, героические страницы в историю ВУЧК – ОГПУ, огромны, неисчислимы их успехи и победы на Украине за все время существования советской власти. Происки и козни классовых врагов всегда разбивались о гранит чекистской закалки, партийной преданности и классовой выдержанности чекистов Украины, воспитанных в духе большевистской партийности и лучших чекистских традиций».

И вместе с тем с именем Балицкого связаны аресты и высылки крестьян, «националистической» интеллигенции. В ноябре 1932 года Балицкий был направлен особоуполномоченным ОГПУ на Украину, где в это время свирепствовал голод, с задачей «безусловно выполнить план хлебозаготовок». И, судя по всему, выполнил.

В 1933 году Балицкого снова вернули на Украину. Сталин считал необходимой его работу в этой республике, что хорошо видно из его переписки с Кагановичем. Всесоюзная газета «Известия» писала, что Балицкий должен помочь миллионам украинских селян подавить кулацкий саботаж и обеспечить молодым колхозам возможность «спокойно расти и расцветать». Видимо, для «расцвета» колхозного движения Политбюро ЦК ВКП(б) СССР 10 марта 1932 года предоставило право рассмотрения дел «по повстанчеству и контрреволюции» на Украине тройке ГПУ в составе товарищей Балицкого, Карлсона и Леплевского и применения высшей меры социальной защиты. Балицкого считают одним из главных организаторов массового террора на Украине, унесшего жизни десятков тысяч людей.

С 1935 года он имел высшее звание «комиссар государственной безопасности 1 ранга» (равнозначно генералу армии), которое за всю историю было присвоено всего девяти руководителям органов государственной безопасности.

С приходом Ежова на должность наркома внутренних дел СССР усилились массовые репрессии 1937–1938 годов. На Украине расширилась кампания по разоблачению «врагов народа» среди партийно-советского актива, командного состава Вооруженных сил и сотрудников органов государственной безопасности.

В 1937 году московский ЦК Компартии вскрывает серьезные недостатки в работе Политбюро ЦК Украины – высшего партийного органа Коммунистической партии, а первого секретаря ЦК Постышева обвиняют в развале работы и пособничестве враждебным антисоветским элементам в республике. Над Балицким, который многие годы работал с первыми секретарями ЦК Компартии Украины Квирингом, Косиором, Кагановичем, Постышевым, стали сгущаться тучи. В мае его вызвали в Москву и сильно понизили в должности, отправив в Хабаровск начальником краевого управления НКВД.

Как свидетельствуют архивные данные, на новом месте Балицкий продолжал действовать в присущей ему манере сталинского руководителя – оперативно и решительно. Так, лишь по одному уголовному делу в Особой Краснознаменной дальневосточной армии было арестовано 200 командиров и других военнослужащих.

А в это время на Украине собираются обвинения на самого Балицкого, который якобы «утаивал от покарания врагов народа, не выполнял указаний центра по разоблачению контрреволюционных и террористических организаций, сдерживал борьбу с троцкистами, националистическими элементами в республике». Доносы «о вредительской линии» Балицкого готовили его бывшие подчиненные и передавали новому наркому внутренних дел Украины Леплевскому, с которым ранее у Балицкого не сложились личные взаимоотношения. Леплевский сфабриковал дело про «антисоветский заговор в НКВД Украины во главе с наркомом Балицким», в котором якобы участвовали практически все заместители Балицкого, руководители ведущих подразделений. Важно подчеркнуть, что в одной из докладных записок в Москву на имя наркома Ежова сообщалось, что Балицкий осуществлял «неприкрытое сопротивление выполнению оперативных указаний НКВД СССР, им было сделано все, чтобы сберечь от разгрома кадры». Он стремился остановить репрессии, уменьшить количество арестов и смертных приговоров.