О шлиссельбургском заточении Караулова рассказал общавшийся с ним в тюрьме Н.А. Морозов, впоследствии выдающийся ученый. После того как несколько человек предприняли попытки самоубийства и режим был несколько смягчен, арестантам разрешили парные прогулки. В пару Морозову давали сошедших с ума заключенных: сначала Н.П. Щедрина, а потом В.П. Конашевича. «Кто не испытал этого сам, тот никогда не будет в состоянии понять, что значит жить в полном одиночестве в мрачной камере, как в могильном склепе, и день и ночь, целые годы, и в то же время думать, что приближается час, когда вы очутитесь вдвоем с сумасшедшим, который все время будет поверять вам свои галлюцинации, и вы ничем не будете в состоянии отвлечь его от них… Я чувствовал, что сам каждую минуту могу сойти с ума», – писал Морозов. Но неожиданно напарника снова сменили – им оказался Василий Караулов. «Мы начали перебирать знакомых, и я убедился, что он плохо говорит и путается в словах только потому, что отвык от разговоров… Караулов был для меня вестником лучших дней в неволе, а прогулки сделались настоящим праздником!.. И кто знает, сохранился бы мой рассудок, если бы он не явился ко мне на помощь как раз в то время, когда я в этом более всего нуждался… В полтора с лишком года наших ежедневных свиданий мы, конечно, истощили все предметы личных разговоров и поневоле начали уходить в область науки и говорить о великих проблемах физики и астрономии, которые тогда волновали не только меня, но и его».

Известная революционерка Вера Фигнер, знавшая Василия Андреевича еще до его ареста, впоследствии также узница Шлиссельбурга, вспоминала: «Это был, как говорится, ражий детина, громадного роста, широкоплечий, жизнерадостный, с лицом – кровь с молоком… Этот брызжущий здоровьем атлет вышел из Шлиссельбурга с лицом покойника». В 1888 году Караулова отправили на поселение в село Усть-Уду на реке Ангаре (Балаганский округ), позднее разрешили перебраться в село Устюг, поближе к Красноярску. А в 1893-м, по распоряжению генерал-губернатора Восточной Сибири, Караулов был переведен в сам Красноярск.

Существует версия, что молодой народоволец Караулов стал одним из прототипов (наряду с итальянцами Гарибальди и Мадзини, англичанами Байроном и С. Рейли, украинцем Степняком-Кравчинским) карбонария Артура Бертона – героя романа английской писательницы Этель Лилиан Войнич «Овод». Дело в том, что во время своего приезда в Россию в 1887–1889 годах (Василий тогда находился в Шлиссельбурге, а потом в ссылке) Этель Буль (будущая Войнич) довольно долго жила в петербургской квартире Карауловых, а также в их псковском имении, где работала над материалами о русском освободительном движении. Судьба сына-заключенного была постоянным предметом обсуждений в карауловской семье.

В Красноярске ссыльный В.А. Караулов – уже убежденный либерал, глубоко верующий христианин и противник политического террора. Он фантастически много читает, изучает языки, занимается частным преподаванием. Особенно углубленно развивает знания, полученные в юности по юриспруденции. Одна из его красноярских учениц, А. Черемных, написала: «Через его руки проходило почти все, что готовилось в гимназию или, поломанное нашей педагогической бюрократией, выброшенное за борт, готовилось держать экстерном. Большинство культурной молодежи енисейской губернии были учениками В.А., и целые поколения воспитывались под его благотворным влиянием. В.А. целыми днями бегал по урокам, как бедный студент». По словам мемуаристки, Караулов и его жена-врач, приехавшая к мужу в ссылку, играли тогда «первую роль в рядах красноярской идейной интеллигенции»: «В далеком сибирском захолустье, выброшенные за борт общественной жизни, они твердо и уверенно несли маленький светоч культурных общественных интересов среди холодных сибирских снегов, диких буранов и полновластия сильных мира сего».