Он предлагал город Нарым перенести на другое более удобное место, упразднить город Туруханск для «избежания расходов на содержание в нем присутственных мест». Представил соображения о суде и «доставлении некоторых средств образования», об отмене сбора ясака натурою, «как естественного для инородцев, но не приносящего пользы казне и дающего повод к злоупотреблениям», об устройстве в Сагайской степи школы для тамошних инородцев, об устройстве в верховьях Енисея солеваренного завода. Государь лично благородил его за попечение «о вверенном крае» и наградил орденом Св. Владимира III степени.

Соображения Хвостова об улучшениях в губернии послужили первой причиной негодования на него нового генерал-губернатора Ивана Пестеля, тем более что предложения эти были препровождены на разрешение Хвостову же.

В течение своего срока губернаторства Василий Семенович успел на ничтожные средства поселить в губернии 3200 семейств, при этом сберег казне 325 тысяч рублей. Он проехал свыше 20 тысяч верст, чтобы лучше знать край. Он первым по времени из всех краеведов подготовил работу «О Томской губернии и о населении большой Сибирской дороги до Иркутской границы», где собрал много данных этнографических и статистических. Она была выпущена в столице уже после отставки автора.

Один его современник рисовал такой портрет Василия Семеновича:

«Хвостов был человек тучный, степенный, рассудительный, лицо имел багровое, говорил тихо и размеренно, действовал осторожно, однако же, не медленно. Если прибавить к тому, что он был самых честных правил и исполнен человеколюбия, то надо признать, что лучших качеств для занимаемого им места требовать не можно».

В начале 1808 года Василий Семенович по представлению сибирского генерал-губернатора И.Б. Пестеля был снят с должности губернатора по доносу одного канцеляриста, а также за медленное исполнение возложенного на него генерал-губернатором поручение и судим в 5-м департаменте Сената. По первой части обвинение было снято, а при исследовании дела о несвоевременном исполнении поручения выяснился совсем незначительный срок задержки – одни сутки. Судебная тяжба длилась несколько лет, а потом еще в опале пребывал, чуть ли не столько же.

За Василия Хвостова вступился М.М. Сперанский, назначенный сибирским губернатором в марте 1819 года. Особой запиской при своем рапорте на имя императора Александра I он указал на причины не благорасположения к Хвостову И.Б. Пестеля.

– Хвостов не виновен, – писал известный реформатор, – будучи обвинен по личным неудовольствиям генерал-губернатора; служил же он в Сибири с истинным усердием и бескорыстием, оставив о себе доброе имя и лучшие отзывы… Хвостов, находившийся совершенно незаслуженно под судом 6 лет, достоин правосудного Его Величества на службу его воззрения и справедливого по примеру других вознаграждения.

Василия Семеновича оправдали и выплатили жалование за все время продолжения суда. В марте 1822 года был пожалован в тайные советники (равнялось армейскому генерал-лейтенанту) и повелено было ему присутствовать в Сенате по 1-му отделению уголовного департамента. В 1831 году он был перемещен во 2-й департамент, а в следующем году – во временное общее собрание.

Его старший брат Александр Семенович тоже стал тайным советником, при Александре I управлял Государственным банком для дворянства. Остальные братья – Петр, Павел и Яков, таких высот не достигли.

Василий Семенович Хвостов умер, состоя на службе, 27 августа 1832 года.

Незадолго до смерти он делал «Описание жизни тайного советника, сенатора и кавалера Василия Хвостова; писано в 1832 году, самим им для детей своих». Описание обрывается на самом начале XIX века. До самой кончины он писал и читал без очков, объяснял это тем, что не употреблял спиртного.