Так нобелевский лауреат И. И. Мечников отмечал, что Н. И. Пирогов не только выполнял свои обязанности, часто выезжая в другие города, где учились кандидаты, но и оказывал им и членам их семей любую, в том числе медицинскую, помощь. Тогда же Николай Иванович успешно оперировал Джузепе Гарибальди, чем спас ему ногу и, скорее всего, жизнь.

После этого случая, вызвавшего фурор в Петербурге, произошло покушение на Александра II нигилистов (1966), восхищавшихся Гарибальди, и, главное, что это не понравилось австрийскому правительству. Началась смена политического курса, связанного с постепенным сворачиванием реформ и «Красный» Пирогов был отозван в Россию с освобождением от исполнения служебных обязанностей. По представлению министра образования Д. А. Толстого, в 1867 г. Пирогов был отправлен в отставку. но при этом был сохранён статус чиновника и ранее назначенная пенсия.

Так была прервана плодотворная педагогическая деятельность Николая Ивановича Пирогова. После этого к педагогической деятельности Н. И. Пирогов больше не возвращался. После отмены крепостного права и начала этапа прогрессивного развития всех сторон общественной жизни, особенно образования, Н. И. Пирогов парадоксально и несправедливо оказался не у дел, не смотря на то, что наступало его историческое время. Как отмечал Н. С. Державин, «Пирогов воспитал в себе лучшие идеалы великой эпохи, эпохи широкого гуманизма и просветительных идей, и внес их в свою педагогическую деятельность. Он хотел поднять современную ему школу до уровня своих высоких идеалов, и, если достичь этого ему и не всегда удавалось, то, конечно, не потому, что в нём не было достаточно энергии, воли, настойчивости и характера, не потому, что идеалы его были слишком далеки от действительных нужд современной школьной жизни. Идеалов жизни Пирогов не мог осуществить в сфере своей школьной работы, потому что в окружающей его жизни эти идеалы были еще только намечены».

Поселившись в своем небольшом имении с. Вишня Подольской губернии (ныне Винницкой области) Николай Иванович продолжил частную врачебную деятельность. Главное содержание этого периода состоит в осмыслении им пройденного пути в «Дневнике старого врача», который он писал буквально до последнего вздоха, своего жизненного, в том числе и педагогического, формулируя на этой основе корпус значимых идей. По выражению Ф. А. Кони: «оставленный Пироговым „Дневник старого врача“ даёт возможность заглянуть в его душу не как общественного деятеля и знаменитого ученого: он даёт возможность услышать голос сердца человека, того человека, которого Пирогов хотел воспитать бы в каждом юноше…».

Первая жена Николая Ивановича – Е. Д. Березина, представительница древнего дворянского рода, внучка генерала от инфантерии графа Н. А. Татищева, умерла в возрасте 24 лет от осложнений после родов, оставив на руках мужа двух сыновей. Сын – Николай, обучался в университетах за границей в Гейдельберге, Берлине и Оксфорде, стал физиком. Занимался коммерческой. деятельностью, а с 80-х годов стал вести собственные научные исследования. Сын – Владимир, историк и археолог, профессор Императорского Новороссийского университета на кафедре истории.

Вторая жена – Александра фон Бистром баронесса, внучатая племянница мореплавателя И. Ф. Крузенштерна. Николаю Ивановичу в это время было 40 лет, это был его второй брак. Она стала настоящим другом и незаменимой помощницей во всех делах Николая Ивановича. Вскоре после пышного торжества они уже вдвоем делали операции, где молодая жена ему ассистировала. До последнего дня супруги относились друг к другу с нежностью и заботой. Николай Иванович даже сочинил несколько трогательных стихотворений в честь своей Сашеньки. В 1884 году трудами Александры Антоновны была открыта хирургическая лечебница в Киеве.