До 1910 года Иван Григорьевич жил со своими братьями и сёстрами в селе Сноведь Ардатовского уезда Нижегородской губернии, находившемся в 25 километрах от Нижнего Новгорода.
Его отец Агапов Григорий Петрович, был зажиточным и прижимистым мещанином, который арендовал пруды и возил рыбу на продажу в Нижний Новгород. На вырученные деньги он покупал золотые николаевские червонцы и закапывал их в кубышке «на чёрный день». Первый этаж дома Григория Петровича был кирпичный, второй – деревянный.
Иван Григорьевич с 14 лет пошёл на работу на металлургический завод г. Выксы.
Жизнь рабочего металлургического завода была хуже каторги. Жили в бараках. Спали на 2-х ярусных деревянных нарах. На работу вставали по заводскому гудку и уже в 6 часов утра приступали к тяжёлой ручной работе.
Рабочий день длился 14 часов с 6 часов утра до 8 часов вечера без перерыва на обед 6 дней в неделю. Обедали простой пищей: хлебом, луком, квасом, принесёнными с собой в узелках. Рабочие улучали 5 – 10 минут в течение рабочего дня и кое-как перекусывали хлебом с луком и квасом. Сало считалось деликатесом. В субботу работали 12 часов, так как хозяин в субботу отпускал рабочих на 2 часа раньше – в 6 часов вечера, и рабочие пешком расходились по своим сёлам. До села Сноведь было около 25 километров, и Иван приходил домой в воскресенье поздно ночью. Сапоги стоили дорого, и Иван шёл 25 километров до дома в лаптях. Отоспавшись, он надевал сапоги, чистую одежду и шёл с родителями в сельскую церковь. Ночью приходилось выходить из дома, чтобы в понедельник в 6 часов утра снова выйти на работу. Рабочие так уставали за 14 часов тяжёлой физической работы, что, придя в барак, падали и засыпали как убитые. Некоторые посылали кого-нибудь за водкой, напивались и засыпали тяжёлым пьяным сном до нового заводского гудка. Поэтому, когда в январе 1905 года царь Николай Второй расстрелял в Петербурге мирную рабочую демонстрацию, рабочий люд всколыхнулся. В России начались забастовки. Забастовали и рабочие металлургического завода г. Выксы.
Тогда же 17 летний забастовщик Иван Агапов вступил в РСДРП. За участие в забастовке он был арестован, но выкуплен своим отцом у станового пристава за взятку золотыми червонцами. Отец Ивана Григорий Степанович арендовал пруд, выращивал в пруду рыбу, а на деньги, вырученные от продажи рыбы, покупал золотые червонцы и закапывал их на чёрный день. Чёрный день наступил в 1905 году. Чтобы младший сын Иван не попал на каторгу, отцу пришлось выкапывать кубышку и давать взятку становому приставу золотыми червонцами. Становой пристав исключил Ивана из числа активных забастовщиков, и Ивана отдали под надзор полиции. Ивану было запрещено жить и работать во многих городах России.
В 1910 году он прочитал объявление в газете, что на завод Столля в Воронеже требуются слесари, написал письмо администрации завода, и получил ответ, что на заводе его примут на работу.
Иван приехал в Воронеж и поступил на завод Столля слесарем. Первое время снимал угол в частном доме. Потом к нему в 1911 году из села Сноведь Нижегородской губернии приехала жена Александра Ивановна (1894г. р.) в девичестве Зеленцова-Ермоловская. Вторая фамилия Александры Ивановны – «Ермоловская» была уличной фамилией, так как родилась она в селе Сноведь в семье уроженца села Ермолово Нижегородской губернии Зеленцова. В начале 20-го века почти у всех жителей деревень были официальные и уличные фамилии. Иногда уличные фамилии становились официальными, а иногда присоединялись к фамилии официальной. У жены Ивана Александры в документах так и указывались вместе обе фамилии: официальная и уличная – Зеленцова-Ермоловская. Александра приехала в Воронеж в 1911 году, сначала плыла по Волге вниз на пароходе, потом ехала по железной дороге.