Сначала Михаил приезжал в Ольхово каждую неделю, работал по хозяйству, но позже стал выпивать и изрядно, напряжение в семье росло. Вскоре стало известно, что у отца появилась другая женщина. Семья развалилась.

Михаил Амосов был отправлен работать в районный центр Шексна, так как его пристрастие к выпивке мешало работе в Череповце. Он пригласил в Шексну жену и сына, но туда же одновременно с ними приехала и его любовница. Все стало явным, скрывать новые отношения уже не было смысла. Взрослые окончательно приняли решение расстаться. После этого отец долго не приезжал к Елизавете и сыну. Все знали: они расходятся. Бабушка, тетки и дяди – сестры и братья Михаила – встали на сторону покинутой жены, поддерживали как могли.

Николай тяжело переживал развод родителей, ведь окончательный разрыв произошел на его глазах. Безусловно, он был на стороне матери, жалел ее. Позже Амосов так писал о тех событиях: «Мама плакала. Днем мы сели в поезд и поехали в Череповец. Это был мой первый поезд. Всю дорогу я простоял у открытого окна и о родителях думал мало. Маму было жалко, но, может, это и хорошо, что он ушел? Мне не повезло с отцом. Простить ему никогда не мог, хотя лично мне он был не нужен: ушел, ну и ладно. Мама же осталась!»

Уйдя из семьи, Михаил Амосов принимал определенное участие в том, чтобы поставить детей от первого брака на ноги, выделил содержание Николаю, когда тот пошел учиться. Мария, которую Михаил удочерил с момента брака с Елизаветой, жила с ним в начале двадцатых годов в Череповце, там заканчивала среднюю школу, и жилось ей непросто. Характер у нее был трудный, а к отчиму приходила любовница, и они устраивали попойки. Мария вспоминала это время с ужасом и отвращением. Можно только представить себе эту атмосферу. Как только в 1924 году Мария поступила в институт, она стала жить самостоятельно.

В новой семье у Михаила Амосова родились два сына. Однако судьба его была печальна – здоровье было расшатано алкоголем и в 1930 он заболел – ослеп. С диагнозом «атрофия зрительного нерва на почве алкоголизма» его лечили в Ленинграде. Поначалу наступило некоторое просветление и он снова начал работать, но в 1931 году Михаил умер, видимо, от болезни сердца. Позже Николай Амосов писал, что мама все отцу простила и очень его жалела.

Возможно, тягостный развод родителей или подсознательный страх матери потерять младшего и болезненного ребенка привели к тому, что детство маленького Николая было необычным для деревни: держался он замкнуто, общался только со своими двоюродными сестрами, да и то редко. Гулять тоже не любил: его чуть ли не силой выгоняли «дышать воздухом», особенно зимой. Амосов впоследствии писал, что это, может быть, и сыграло положительную роль: «Одиночество формировало разум. Теперь говорят о „развивающих играх“, вплоть до компьютерных. У меня не было даже игрушек, разве что глиняная свистулька от приезжих торговцев горшками, продающих с возов».

Так Николай и пошел в школу: одинокий, без друзей, ведь даже соседских детей он видел лишь издали. «Прямо – барчук! Читать-писать не умел. Помню только, что много рисовал, фантазировал». Но школа стала для мальчика событием. Учителей было мало, и одна учительница учила два класса: первый и третий. Амосова посадили со старшими, с третьеклассниками, т. к. первый класс был переполнен и мест там не было. Николай же быстро выучил буквы и стал читать не хуже сидящих рядом третьеклассников. За три месяца он освоил «Робинзона Крузо».

Но поначалу школа ему не нравилась: много шума, ребята все незнакомые, озорничают, контакта ни с кем у Коли не было, даже на переменах он старался не выходить из-за парты. Но к зиме освоился. А в первое школьное лето «барство» окончательно слетело: все дни он проводил с новыми товарищами, бегали босиком, ловили рыбу – в общем, почувствовал все радости деревенских мальчишек вне зависимости от эпохи. Как потом вспоминал Амосов, ничего выдающегося в его деревенском детстве не было – река, лес, луг, игры. Лидером по части забав Коля не был, но его уважали, он хорошо учился. Летом как всегда много работы: сенокос, жатва, молотьба – с момента ухода отца Николай стал главным работником в семье.