В ноябре 1936 года нелегалам СГОН, которыми непосредственно руководил Б. М. Афанасьев, с помощью агента М. Зборовского(«Тюльпан»), внедренного в окружение сына Троцкого Льва Седова, удалось похитить часть архива Международного секретариата троцкистов. Несколько ящиков с бумагами было передано легальному резиденту ИНО в Париже Г. Н. Косенко (Кислову), а затем отправлено в Москву.
С декабря 1936 года – начальник Спецгруппы Секретариата НКВД СССР.
Одним из объектов разработки советской разведки в этот период был Лев Седов («Сынок»). В 1937 году по указанию отца он приступил к работе по организации 1-го съезда IV Интернационала, который должен был открыться летом 1938 года в Париже. В связи с этим Центр принял решение о похищении Седова. Проведение операции было поручено Серебрянскому.
План похищения «Сынка» был детально проработан. В подготовке операции участвовало 7 сотрудников Спецгруппы, в том числе и жена Серебрянского. Однако похищение Седова так и не состоялось – в феврале 1938 года он умер после операции по удалению аппендикса.
Летом 1938 года Серебрянский был отозван из Франции и 10 ноября 1938 года вместе с женой арестован в Москве прямо у трапа самолета. До 13 февраля 1939 года содержался под стражей без санкции прокурора. 21 февраля 1939 года был уволен из НКВД в связи с арестом.
В ходе следствияСеребрянского подвергали так называемым интенсивным методам допроса – избиениям. Он был принужден дать подложные показания. 25 января 1939 года был переведен в Лефортовскую тюрьму.
На допросе в 1954 году Серебрянский показал, что еще до суда, т. е. на предварительном следствии, он отказывался от показаний, в которых признавал себя виновным и оговаривал других.
В результате 4 октября 1940 года следователем СЧ (Следственная часть) ГУГБ НКВД лейтенантом ГБ Перепелицей было составлено следующее обвинительное заключение:
«ОБВИНИТЕЛЬНОЕ ЗАКЛЮЧЕНИЕ
10 ноября 1938 г. органами НКВД СССР был арестован подозреваемый в шпионской деятельности СЕРЕБРЯНСКИЙ Яков Исаакович.
Проведенным по делу следствием установлено, что СЕРЕБРЯНСКИЙ, в прошлом активный эсер, дважды арестовывался органами ОГПУ и при содействии разоблаченных врагов народа проник в органы советской разведки.
В 1924 г., будучи в Палестине, был завербован эмигрантом ПОКРОВСКИМ для шпионской деятельности в пользу Англии.
В 1927 г. СЕРЕБРЯНСКИЙ по заданию английской разведки перебросил из Палестины в СССР группу шпионов-террористов в лице ТУРЫЖНИКОВА, ВОЛКОВА, АНАНЬЕВА, ЗАХАРОВА и ЭСКЕ, которых впоследствии в лаборатории спецгруппы ГУГБ подготавливал к диверсионной и террористической деятельности на территории СССР. Через ТУРЫЖНИКОВА СЕРЕБРЯНСКИЙ передавал английской разведке шпионские сведения о политическом и экономическом положении Советского Союза.
В 1933 г. СЕРЕБРЯНСКИЙ был завербован разоблаченным врагом народа ЯГОДОЙ в антисоветскую заговорщическую организацию, существующую в органах НКВД.
По заданию ЯГОДЫ СЕРЕБРЯНСКИЙ установил шпионскую связь с французской разведкой, которую информировал о деятельности советской разведки за кордоном, добывал сильнодействующие яды для совершения террористического акта над руководителями партии и советского правительства.
В предъявленном обвинении виновным себя признал».
Практически такое же обвинительное заключение было предъявлено и его жене.
7 июля 1941 года Военная коллегия Верховного суда СССР приговорила Я. И. Серебрянского к высшей мере наказания с конфискацией имущества, а его жену – к 10 годам лагерей «за недоносительство о враждебной деятельности мужа».
Но приговор, вынесенный «Яше», не был приведен в исполнение. Уже началась Великая Отечественная война, и разведке катастрофически не хватало опытных сотрудников. В августе 1941 года благодаря ходатайству Павла Судоплатова и вмешательству Лаврентия Берии Серебрянский решением ПВС СССР от 9 сентября 1941 года был амнистирован, освобожден из заключения с прекращением уголовного дела и снятием судимости, восстановлен в органах и партии.