В 1932 году Смирнов даже прислал для «Бюллетеня оппозиции» статью «Хозяйственное положение Советского союза», в которой впервые были показаны размах забоя скота во время коллективизации, серьёзные диспропорции в промышленности, последствия инфляции для всей экономики и т. д.». В заключение И. Смирнов писал: «Вследствие неспособности нынешнего руководства выбраться из хозяйственно-политического тупика, в партии растет убеждение в необходимости смены партруководства». Таким выводом Смирнов подписал себе смертный приговор.

В конце 1932 года, благодаря доносу, ОГПУ вышло и на подпольную организацию И. Н. Смирнова. О том, по каким вопросам «смирновцы» расходились с генеральной линией партии, в 1936 году на допросе рассказал Е. А. Преображенский:

– они были против взятых темпов коллективизации, против дискредитации середняцких хозяйств, против жестокости по отношению к кулакам: в результате такой политики возникли проблемы с продовольствием;

– «смирновцы» осуждали нереальные темпы индустриализации, в результате которых срывались планы капиталовложений, сроки строек, рабочие работали на износ, а их материальное положение ухудшалось;

– их не устраивало отсутствие внутрипартийной демократии, из-за чего невозможно было обсуждение важных для страны вопросов;

– они чувствовали идеологический застой и критиковали политику партии в Коминтерне, в частности по вопросу участия компартии в борьбе с фашизмом в Германии.

Из этих постулатов следовал неизменный вывод о необходимости борьбы с политикой ЦК и руководством партии.

В начале 1933 года по делу о «контрреволюционной троцкистской группе Смирнова И. Н., Тер-Ваганяна В. А., Преображенского Е. А. и других» было арестовано 89 человек. У них была изъята троцкистская литература и переписка со ссыльными троцкистами.

На следствии Смирнов принадлежность к подпольной оппозиции отрицал и признался лишь в том, что имеет сомнения относительно «колхозного строительства, проводимого партией», и что делился своими сомнениями в узком кругу товарищей.

Про сомнения и узкий круг товарищей мы еще услышим в заявлении Жестяниковой в Партком ИМЛ и во время допросов, когда ее пытались выставить активной троцкисткой.

«Смирновцы» были приговорены к разным срокам заключения, а некоторых даже после покаяния Сталин временно простил (до 1936 года). Смирнова приговорили к 5 годам лишения свободы, которые он отбывал Суздальской тюрьме особого назначения. В августе 1936 года, вместе с Мрачковским, Тер-Ваганяном и Гольцманом, он стал фигурантом Первого Московского процесса по делу так называемого «антисоветского объединённого Троцкистско-Зиновьевского центра». Теперь группа Смирнова преобразовалась во время следствия в террористический центр, организовавший в конце декабря убийство С. М. Кирова и ряд других, не удавшихся, покушений.

Сталин так хотел обвинить Смирнова, что следствие даже проигнорировало его абсолютное алиби – нахождение в заключении. НКВД под руководством Ягоды шантажировало заключенных судьбами их родственников. Бывшая жена Смирнова, на первом судебном процессе державшаяся мужественно, на этот раз умоляла Смирнова принять участие в фарсе ради их детей.

24 августа 1936 года Военной коллегией Верховного Суда СССР вместе с другими подсудимыми он был приговорён к высшей мере наказания и расстрелян на следующий день. Рассказывают, что, отправляясь на расстрел, И. Н. Смирнов сказал: «Мы это заслужили своим поведением на суде», – хотя Троцкий именно его поведение на процессе нашёл наиболее достойным.

В конце 50-х годов Смирнову и его соратникам было отказано в реабилитации, и только в июле 1988 года, когда фракционность перестали считать преступлением, он был реабилитирован Пленумом Верховного Суда СССР.