После смерти Якова Свердлова именно Генрих Ягода продолжал оказывать поддержку другим членам семьи Свердлина. Будущий высокопоставленный партийный функционер рос вместе с двумя братьями – Вениамином, Залманом (вошедшем в историю под именем Зиновий) и сестрой Софьей.
В семье все занимались революционной деятельность. В мастерской изготовлялись фальшивые штампы и печати, которые затем использовались при производстве поддельных удостоверений личности.
Старший брат Якова, Зиновий, в результате каких-то сложных душевных процессов пришел к глубокому внутреннему кризису и порвал не только с революционным окружением, но и с иудаизмом. Отец проклял его традиционным еврейским проклятием. Хотя вероотступник не пропал – его усыновил писатель Максим Горький, но и от него он вскоре ушел в «самостоятельное плаванье». В годы Гражданской войны он официально работал на французскую разведку и закончил военную карьеру в звание генерала, а неофициально (пресс-бюро Службы внешней разведки РФ отрицает этот факт) оказывал конфиденциальные услуги Москве21.
Второй брат, Якова, Вениамин, не питал склонности к революционной деятельности, эмигрировал из неспокойной Российской империи в США и стал там собственником небольшого банка. По утверждению отдельных историков в сферу его бизнес интересов входила поставка оружия царскому правительству. А его партнером по бизнесу выступал будущий известный британский разведчик Сидней Рейли. После Октябрьской революции Вениамин вернулся назад и по протекции брата занял пост наркома путей сообщений, но не справился с работой и был уволен. Какое-то время Вениамин Свердлов был членом Президиума ВСНХ. Заведовал его научно-техническим отделом, но и тут не сумел долго продержаться – снова лишился своего поста. А может, после смерти брата некому было опекать беспартийного чиновника с «пятнами» (бизнес в Америке) в биографии.
Софью Моше Свердлина удачно выдал замуж за владельца пароходной кампании на Волге Леонида Исааковича Авербаха. У супругов было двое детей: Ида и Леопольд.
Ида работала следователем. Дослужилась до должности заместителя прокурора города Москвы. Ещё она занималась литературной критикой. Известность приобрела как жена наркома внутренних дел СССР, всемогущего Генриха Ягоды.
Леопольд Авербах, благодаря родству с Яковом Свердловым, со временем стал главой Российской ассоциации пролетарских писателей, пресловутого РАППа. Власти делили всех «инженеров человеческих душ» на пролетарских писателей и писателей попутчиков. В творчестве первых доминирующую роль играло не проникновение во внутренний мир героя, а верность идее, отражение классовых идеалов. От писателей требовалось, чтобы их произведения были наглядными и прикладными, как агитки Демьяна Бедного. Чтобы писатели не занимались рассусоливанием, не копались в переживаниях, не препарировали их, а били в лоб. Причем в нужном направлении. Члены РАППА, в большинстве своём, не столько создавали новые произведения, сколько критиковали других. Выискивали крамолу. Докапывались до противоугодного. И тащили уличенных к позорному столбу. Чтобы не повадно было. Постепенно он подчинил себе всю литературную жизнь в Советской России.
Хотя вначале своей карьеры Леопольд пытался заниматься политикой, делая карьеру по комсомольской линии, но потом увлекся журналистикой и изданием газет. Особых литературных способностей у него не было, да и четыре класса гимназии не позволили ему освоить «великий и могучий русский язык» – писал он многочисленными ошибками и довольно коряво. Зато обладал необходимыми для новых властей качествами и смог создать РАПП.