Из братьев он был самым младшим, что обрекало его на вечное им подражание. Братья были разными, и каждый из них был дорог Левушке по-своему. Дмитрий, то ли в силу своего мягкого характера, то ли из-за минимальной, в сравнении с другими братьями, разницы в возрасте, был ближе всего ему по духу. Сергей восхищал множеством своих талантов и некоторой загадочностью. Старший брат, Николай, был неистощим на выдумки и любил изобретать новые игры и забавы. Он весьма увлекательно рассказывал братьям обо всем, что приходило ему на ум, будь то таинственная зеленая палочка, хранящая секрет всеобщей любви, или путешествие на Фанфаронову гору. Братья тотчас же загорались идеями Николая и были готовы пойти ради них на великие жертвы. Так, например, на Фанфаронову гору вместе с Николаем мог отправиться лишь тот, кто выполнит ряд условий. «Условия были, во-первых, стать в угол и не думать о белом медведе, – вспоминал Лев Толстой. – Помню, как я становился в угол и старался, но никак не мог не думать о белом медведе. Второе условие я не помню, какое-то очень трудное… пройти, не оступившись, по щелке между половицами, и третье легкое: в продолжение года не видать зайца, все равно, живого, или мертвого, или жареного. Потом надо поклясться никому не открывать этих тайн».
Отец, Николай Ильич, детям много времени не уделял. Мог под настроение заглянуть в детскую, посмеяться вместе с детьми над рассказанной им же самим историей, мог попросить прочитать стихотворение и, похвалив за старание, удалиться. Он никогда не был близок к своим детям, так же как и его сын Лев. То ли наследственность сказывалась, то ли маленький Левушка неосознанно скопировал отцовскую манеру поведения и перенес ее в свою семью.
«Помню его в его кабинете, куда мы приходили к нему прощаться, а иногда просто поиграть, где он с трубкой сидел на кожаном диване и ласкал нас и иногда, к великой радости нашей, пускал к себе за спину на кожаный диван и продолжал или читать или разговаривать с стоящим у притолки двери приказчиком или с С. И. Языковым, моим крестным отцом, часто гостившим у нас. Помню, как он приходил к нам вниз и рисовал нам картинки, которые казались нам верхом совершенства. Помню, как он раз заставил меня прочесть ему полюбившиеся мне и выученные мною наизусть стихи Пушкина: “К морю”: “Прощай, свободная стихия…” и “Наполеон”: “Чудесный жребий совершился: угас великий человек…” и т. д. … Его поразил, очевидно, тот пафос, с которым я произносил эти стихи, и он, прослушав меня, как-то значительно переглянулся с бывшим тут Языковым. Я понял, что он что-то хорошее видит в этом моем чтении, и был очень счастлив этим. Помню его веселые шутки и рассказы за обедом и ужином, как и бабушка, и тетушка, и мы, дети, смеялись, слушая его. Помню еще его поездки в город и тот удивительно красивый вид, который он имел, когда одевался в сюртук и узкие панталоны. Но более всего я помню его в связи с псовой охотой. Помню его выезды на охоту. Мне всегда потом казалось, что Пушкин списал с них свой выезд на охоту мужа в “Графе Нулине”».
Детство Толстого в Ясной Поляне было веселым, и, если бы не ранняя смерть матери, его можно было бы назвать безоблачным. Все вокруг было наполнено любовью, нежностью, счастьем. «Вернутся ли когда-нибудь та свежесть, беззаботность, потребность любви и сила веры, которыми обладаешь в детстве? – писал во взрослом возрасте Лев Толстой. – Какое время может быть лучше того, когда две лучшие добродетели – невинная веселость и беспредельная потребность любви – были единственными побуждениями в жизни?»