Потом была полуторагодичная аспирантура при Ленинградском отделении Коммунистической академии, после которой он стал преподавать (в качестве доцента) в инженерно-экономическом институте. Весной 1933 года Волин получил новое партийное назначение, никак не вязавшееся с его личными планами и в конце концов круто изменившее всю его дальнейшую жизнь. Его выдвинули на должность прокурора города Петрозаводска. На этом более чем боевом участке он прослужил два года. И хотя Анатолий Антонович в своих мемуарах, над которыми он усиленно работает, называет время, проведенное им в Петрозаводске, тремя потерянными годами, все же следует признать, что именно отсюда началось его стремительное восхождение на прокурорский и судебный Олимп.

1 декабря 1934 года в Смольном был убит С. М. Киров, и в стране развернулась кампания по искоренению врагов народа, работать в прокуратуре стало неизмеримо труднее. Усилилась всеобщая подозрительность, выслеживались и жестоко наказывались любые, даже мимолетные связи с троцкистами или зиновьевцами. В этот водоворот случайно попал и Волин, но уцелел. Летом 1935 года он вновь оказался в городе на Неве. В сентябре 1935 года А. А. Волин занял должность помощника прокурора Володарского района Ленинграда, а в июне 1936 года стал прокурором одного из центральных районов города – Смольнинского. Здесь располагались Ленинградский обком партии, Ленсовет, другие городские и областные организации.

Вспоминая свою работу в Ленинграде, Волин рассказывал: «В то время были в моде так называемые показательные процессы. Если правильно понимать их, то они проводились не для показухи, не для устрашения, а для воспитания и профилактики. Мы старались, чтобы судебные процессы доходили до сознания аудитории. К примеру, на одном из процессов дает показания несун, уличенный в хищении с завода сумки с набором специальных инструментов: „Я знаю, что это нехорошо, но у нас в цеху такая обстановка, что инструменты не учитываются. Вот и берешь. Берут и другие, но не все попадаются". – „Но ведь вы уже второй раз стоите здесь по такому же делу. Где же ваша рабочая совесть?" – „Совесть-то есть, гражданин прокурор, но, понимаете, принесешь с завода домой хоть болванку, и как-то легче на душе". На другом публичном процессе обвиняемый в крупном мошенничестве на вопрос судьи: „Скажите, подсудимый, что способствовало вам развить столь бурную деятельность?" – ответил:,Лестно сказать – знакомства и связи". Это вызвало у присутствующих бурную реакцию, свидетельствующую о том, что процесс был поучительным».

28 сентября 1937 года Прокурор РСФСР Н. М. Рычков направил ходатайство на имя Прокурора Союза ССР Вышинского с просьбой назначить Волина вторым заместителем Прокурора РСФСР. В этом письме, в традициях того времени, особо подчеркивалось, что Волин в других партиях не состоял, партвзысканиям не подвергался. Сведений о принадлежности его к оппозициям и антипартийным группировкам не имеется. После продолжительной проверки по линии органов госбезопасности Волин 1 января 1938 года был назначен заместителем прокурора республики.

Начинать свою работу в Прокуратуре РСФСР Волину пришлось в очень непростой обстановке. «Меня не коснулась роковая круговерть тех лет, – вспоминал он, – но я насмотрелся, как судьба играет человеком, когда исчезает то один, то другой партийный, советский или иной деятель. Иногда приходила в голову мысль: а надолго ли я прописан в Москве? Но прошло немного времени, и я уже вполне мог ощутить, что Москва живет двойной политической жизнью – одной, официальной, на виду, другой – скрытой, в кругу семьи или друзей. Неистовствовал глубоко ложный накал бдительности, порой переходящий в явный психоз, повсюду выискивались враги народа и их пособники, повсюду шла острая борьба с так называемым либерализмом и примиренчеством к врагам народа, вызывая обстановку, которой пользовались действительные враги народа, карьеристы, различного рода проходимцы да лица, сводившие личные счеты.