Хотелось бы отметить, что отец Льва Николаевича отличался не только военными заслугами, но имел и прекрасное образование. Говорил, читал, писал на французском и немецком, знал неплохо математику и географию. Был близко знаком со многими декабристами: С. П. Трубецким, С. Г. Волконским, А. И. Одоевским, З. Г. Чернышевым, Ф. П. Толстым, но сам в тайных обществах никогда не состоял.

Вернулся в Россию Николай Ильич в 1814 году, и его назначили адъютантом к командиру корпуса кавалергардского полка, генерал-лейтенанту князю Андрею Ивановичу Горчакову, троюродному брату его матери. В 1817 году Толстого перевели с чином майора в гусарский полк принца Оранского. Причина перевода такова, что Толстой, «имея ревностное желание продолжать службу вашему императорскому величеству во фронте, по недостаточному своему состоянию не имеет возможности продолжать служение в кавалергардском полку». А означало сие, что у графа Толстого крайне стесненное материальное положение и что блистательной военной карьеры не случилось.

В марте 1819 года Николай Толстой «по болезни» ушел в отставку в чине подполковника и вернулся к родителям в Казань, где губернаторствовал его разорившийся отец. В 1821 году, после смерти отца, он вместе с избалованной матушкой, Пелагеей Николаевной, и своей кузиной, приехал в Москву, где поступил на службу в Военно-сиротское отделение при Московском комендантском управлении в должности смотрительского помощника, по факту заместителя директора сиротского приюта. Хотя заведение представляло собой не обычный интернат, а приют для детей военных, жалованье было небольшим, но относительно стабильным, квартирка скромная, и впереди никаких перспектив.

В эти годы на руках у Николая Ильича осталась семья, требующая заботы и немалых финансовых затрат: маменька, привыкшая к роскоши, кузина Татьяна Ергольская, воспитывавшаяся с самого детства вместе с ним, и неудачно вышедшая замуж сестра Александра Толстая, по мужу Остен-Сакен, со своей приемной дочерью Пелагеей. После смерти отца от состояния остались лишь огромные долги. К счастью, младшая сестра Николая Толстого, Пелагея, уже не нуждалась в попечении брата. Она стала женой Владимира Ивановича Юшкова, принадлежавшего к высшему свету Казани. Две родные сестры Николая Толстого сыграют впоследствии важную роль в воспитании малолетнего Левушки.

В таком положении у Николая Ильича была одна надежда – удачный брак. Когда-то граф Толстой питал романтические чувства к своей троюродной сестре, Татьяне Ергольской, и она испытывала взаимную симпатию, но узами брака не спешила себя связывать, прекрасно понимая, что Николай может найти более богатую и выгодную партию, чтобы поправить дела семейства. Так и произошло. Но о сем чуть дальше.

Поговорим пока о чувствах и воспоминаниях самого Льва Николаевича об отце. Да, к великому сожалению, Николай Толстой умер, когда его сыну было девять лет, но память о нем затронула струны души маленького ребенка.

По мнению Льва Толстого, Николай Ильич не был так одухотворен, как мать, и производил впечатление более простой натуры. Возможно, это шло оттого, что матери своей Лев Толстой не помнил и собирал ее образ из рассказов других людей, из прочитанных стихов, из крохотных записочек, и она всегда олицетворяла для него неземной идеал. Отца же он пусть недолго, но знал, он был для него обычным земным человеком.

Так вот. Основными занятиями графа Николая Толстого были: хозяйство, решение насущных дел и проблем прошлых лет, любимая помещичья забава – охота, ружейная и псовая. Занятия явно неинтеллектуальные. Конечно, имелась и библиотека, составленная соответственно духу времени: сочинения французских классиков и книги по истории. Со слов Льва Николаевича, отец «не имел склонности к наукам, но был на уровне образованья людей своего времени». Также Толстой отмечал у своего отца характерное чувство собственного достоинства, юмор и склонность к сочинительству шуток и веселых рассказов.