Одним из примеров его подвижничества стало и то, что на средства, собранные Гаазом, в пересыльной тюрьме на Воробьёвых горах в 1832 году была учреждена больница для арестантов, а в 1836 году при этой тюрьме он открыл на свои средства школу для детей заключённых. Доктор Гааз был убежден, что между преступлением, несчастьем и болезнью есть тесная связь, а поэтому к виновному не нужно применять напрасной жестокости, к несчастному должно проявить сострадание, а больному необходимо призрение.

Семьёй он так и не обзавёлся ни в это время, ни позже. Но у него был воспитанник-сирота, еврейский мальчик Лейб Норман. Он был выслан из Литвы в военные поселения, по дороге заболел, попал в московскую больницу (Полицейскую, предназначенную для арестантов). Доктор Гааз сумел его оттуда вызволить, вылечил. Именно ему Федор Петрович Гааз писал известные сегодня слова: «Самый верный путь к счастию в том, чтобы делать других счастливыми. Для этого нужно внимать нуждам людей, заботиться о них, не бояться труда, помогая им советом и делом, словом, любить их, причём, чем чаще проявлять эту любовь, тем сильнее она будет становиться, подобно тому, как сила магнита сохраняется и увеличивается от того, что он непрерывно находится в действии». Воспитанник вырос достойным своего воспитателя. Впоследствии Норман стал врачом в Рязани.

При изучении условий содержания подследственных и заключённых доктор Гааз поразился жестокости мер, применяемых по отношению к ним. Узнав, что людей приковывают тяжёлыми железными колодками к стульям, а на шеи надевают ошейники со спицами, и о том, что политическим заключённым, перед отправлением в ссылку в Сибирь сквозь наручники продевают длинный прут из железа, скрепляя людей парами и не учитывая разницу в возрасте, он организовал борьбу с кандалами и железными прутьями. В этом начинании его поддержал князь Голицын. В конечном итоге, ссыльным разрешили двигаться без прутьев, будучи закованными только в кандалы. Ножные кандалы в то время весили около шестнадцати килограммов, а ручные – шесть. Заботясь о здоровье заключённых, доктор Гааз добился изготовления более лёгких кандалов, испытав их на себе. Он мог ходить в кандалах неделями, подбирая их оптимальный вес и щадящие размеры. В конечном итоге, ножные кандалы стали весить не больше семи килограммов, а старых людей, по настоянию доктора Гааза, вообще освободили от их ношения. В те времена заключённым женщинам было принято сбривать половину волос с головы. Гааз добился отмены этого правила, попутно выделяя свои деньги на улучшение жизни арестантов, в том числе и на «перековку» новых кандалов. Когда из Москвы в Сибирь отправляли очередную группу заключённых, он лично сопровождал каждую отправку, расспрашивал людей о том, в чём они нуждаются, помогал деньгами, пока они у него ещё были. Он и позже не прерывал связи со многими ссыльными, выполняя их просьбы и посылая им деньги и книги. Именно арестанты назвали его «святым доктором», в благодарность за то, что он по-отечески относился к ним: снабжал отправляемых в ссылку не только съестными припасами, но также и добрым словом, Святым Писанием и нравоучительной христианской литературой.

В каждом из заключенных доктор Гааз видел страдающего Христа. В историю вошёл его разговор с митрополитом Филаретом. Однажды, размышляя о судьбах арестантов, Филарет высказал мнение о том, что человека не могут осудить невинно, и, если он находится в тюрьме, – значит, для того была веская причина. В ответ на эту фразу митрополита Гааз вскочил с места и воскликнул: «Владыка, как Вы можете такое говорить? Неужели Вы забыли о том, что Господь наш, Иисус Христос, был осуждён невинно?»