Но успех его лирической поэзии ограничивался довольно узким литературным кругом, в своем подавляющем большинстве просвещенная публика равнодушно относилась к его сочинениям; люди в эту пору решительных политических и экономических реформ интересовались более литературными произведениями, в которых чувствовался «дух времени», гражданские мотивы революционно-демократической мысли.

Взяв в 1856 году перед выходом в отставку из военной службы отпуск на 11 месяцев, Фет совершил поездку за границу, побывав в Карлсбаде, Париже и в итальянских городах. Навестил в Куртавнеле, в имении Виардо своего приятеля и собрата по перу Ивана Тургенева. В Париже 16 августа 1857 года женился на богатой купеческой невесте Марии Петровне Боткиной (1828–1894), сестре своего давнишнего друга и почитателя Василия Боткина.

По окончании отпуска 27 января 1858 года Фет вышел в отставку штабс-ротмистром гвардии и поселился в Москве. Его уход с военной службы был связан не только с женитьбой, которая принесла материальное благополучие, но и с невозможностью достижения поставленной им цели. По указу нового императора Александра II право на потомственное дворянство давал с 1856 года только чин полковника, а не майора, как было раньше. Дослужиться же до полковничьих погон Афанасий Афанасьевич не надеялся.

В начале 1860-х годов из-за политических разногласий Фет порвал отношения с журналом «Современник», после чего возник знаменитый антагонизм двух крупнейших поэтов своего времени «Некрасов – Фет».

Выпустив в свет в 1863 году в двух книгах свои «Стихотворения», расходившиеся довольно медленно, Афанасий Афанасьевич почти совсем перестал писать стихи. Тургенев с долей иронии говорил о Фете, что «он теперь сделался агрономом-хозяином до отчаянности, отпустил бороду до чресл, о литературе слышать не хочет и Музу прогнал взашею…»

Еще в 1860 году Фет решил серьезно заняться сельским хозяйством и с этою целью купил в Мценском уезде хутор Степановка с 200 десятинами земли. Здесь он прожил 17 лет, лишь зимою ненадолго наезжая в Москву, и создал прекрасное имение: отделал купленный неоконченным дом и расширил его пристройками, развел цветники, насадил аллеи, выкопал пруды и колодцы, проложил отличную подъездную дорогу, усердно вел хлебопашество, завел мельницу и конный завод. Свой опыт жизни и сельскохозяйственной деятельности в пореформенной деревне Афанасий Афанасьевич изложил в серии очерков, появлявшихся в журналах в 1862–1871 годах.

В Мценском уезде с с 1 ноября 1867 года по 1877 год Фет служил мировым судьею, разбирая мелкие гражданские и уголовные преступления. К этой общественной должности он относился со всей ответственностью и полной самоотдачей и писал о ней: «Свободный выбор уездными гласными наилучших людей в мировые судьи, которым представлялось судить публично по внутреннему убеждению, являлся для искателей должности судьи чем-то священным и возвышающим избираемого в его собственных глазах».

По императорскому указу 26 декабря 1873 года за Афанасием Афанасьевичем, наконец, была утверждена фамилия отца – Шеншин, со всеми связанными с нею правами потомственного дворянина. Но свои литературные произведения он и далее подписывал фамилией Фет.

Помимо замечательного поэтического таланта, Фет обладал незаурядными интеллектуальными качествами. Он был блестящим остроумным рассказчиком, что отмечали его современники, слышавшие его или переписывавшиеся с ним, душевным и разумным товарищем. Иван Тургенев, отвечая на очередное письмо, признавался Фету: «Переписываться с вами для меня потребность, и на меня находит грусть, если я долго не вижу ваш связно-красивый, поэтическо-безалаберный и кидающийся из пятого этажа почерк». Лев Толстой пишет Фету: «Кроме вас у меня никого нет… Вы человек, которого, не говоря о другом, по уму я ценю выше всех моих знакомых, и который в личном общении дает один мне тот другой хлеб, которым, кроме единого, будет сыт человек».