В январе 1851 года Алексей Жемчужников записал в дневнике: «Государь Николай Павлович был на первом представлении „Фантазии“ (эта пьеса тоже входила в собрание сочинений Козьмы Пруткова). Эта пьеса шла в бенефис Максимова. Ни Толстой, ни я в театре не были. В этот вечер был какой-то бал, на который мы оба были приглашены и на котором быть следовало. В театре были: мать Толстого и мой отец с моими братьями. Воротясь с бала и любопытствуя знать: как прошла наша пьеса, я разбудил брата Льва и спросил его об этом. Он ответил, что пьесу публика зашикала и что государь в то время, когда собаки бегали по сцене во время грозы, встал со своего места с недовольным выражением в лице и уехал из театра. Услышавши это, я сейчас же написал письмо режиссеру Куликову, что, узнав о неуспехе нашей пьесы, я прошу снять ее с афиши и что я уверен в согласии с моим мнением графа Толстого, хотя и обращаюсь к нему с моей просьбой без предварительного с графом Толстым совещания. Это письмо я отдал Кузьме, прося снести его завтра пораньше к Куликову. На другой день я проснулся поздно, и ответ Куликова был уже получен. Он был короток. „Пьеса ваша и гр. Толстого уже запрещена по высочайшему повелению“.

«В произведении литературы я презираю всякую тенденцию, – писал Толстой Б. М. Маркевичу в декабре 1868 года. – Презираю ее, как пустую гильзу, тысяча чертей! Как раззяву у подножья фок-мачты, три тысячи проклятий! Я это говорил и повторял, возглашал и провозглашал!» И опять уже в письме к М. М. Стасюлевичу: «По мне, сохрани Бог от всякой задачи в искусстве, кроме задачи сделать хорошо. И от направления в литературе, сохрани Бог, как старого, так и от нового! Россини сказал: „В музыке есть только два рода, хороший и плохой“. То же можно сказать и о литературе». Странно, но при всем при этом стихи самого Толстого буквально насыщены были злобой дня. И это относится не только к сочинениям Козьмы Пруткова, но и к «Посланию М. Н. Лонгинову о дарвинизме», и к «Иоанну Дамаскину», и к «Сну Попова», и к «Истории государства Российского от Гостомысла до Тимашова», перемежающейся знаменитым рефреном: «Земля наша богата, порядка в ней лишь нет»…

В самом начале Крымской кампании Толстой и его друг князь А. П. Бобринский решили организовать специальный военный отряд, который помешал бы возможной высадке англичан на балтийском побережье. На свои средства закупили в Туле 80 дальнобойных винтовок, но, к счастью, они не пригодились. Точно так же не успела пригодиться друзьям быстроходная яхта, которую решено было приобрести для совершения каперских вылазок в море. Поняв, что война, как началась, так и закончится в Крыму, Толстой вступил майором в стрелковый полк, но и тут ему не повезло: под Одессой он тяжело заболел тифом. К счастью, крепкое от природы здоровье не подвело – поэт выжил. Сразу после войны он был произведен в подполковники и одновременно назначен делопроизводителем Секретного комитета о раскольниках. Однако все это совсем не привлекало Толстого. «Государь, – обратился он к императору, – служба, какова бы она ни была, глубоко противна моей натуре; знаю, что каждый должен в меру своих сил приносить пользу отечеству, но есть разные способы приносить пользу. Путь, указанный мне для этого провидением, – мое литературное дарование, и всякий иной путь для меня невозможен. Из меня всегда будет плохой военный и плохой чиновник, но, как мне кажется, я, не впадая в самомнение, могу сказать, что я хороший писатель».

В 1861 году Толстой вышел в отставку.

Жил он попеременно то в своем имении под Петербургом – Пустыньке, то в имении матери – на Черниговщине. Печатался и в либеральном журнале «Вестник Европы», и в противоположном ему по направлению проправительственном «Русском вестнике». В 1867 году вышел в свет единственный прижизненный сборник стихотворений Толстого.