Служба под началом таких людей, как М.И. Кутузов, не могла не обогатить пытливый ум, не научить полезнейшему, просто бесценному опыту, не побуждать к истовому служению во благо Отечества. В Константинополе Хвостов был произведен в коллежские советники.
Посольство числом до 700 человек вернулось в Россию на другой год. Мария Борисовна по-прежнему хотела жить только в деревне, и Василий Семенович подал прошение об отставке. В 1795 году получил ее с чином статского советника, но пока хлопотал о ней в столице, пришло известие, что Мария Борисовна умерла при родах. Не выжил и ребенок. Это была не первая горькая потеря – в Барнауле в младенчестве умерли три сына и дочь Софья.
Василий Семенович решил посвятить себя деревенской жизни. Перестраивал господский дом, строил скотные дворы, амбары, подсобные помещения. Нанял садовника, завел сад и пасеку. Избирался предводителем дворянства Гдовского уезда. Долго жил вдовцом, а потом женился, но семейное счастье длилось не долго – Екатерина Александровна Колюбакина тоже умерла при родах.
С воцарением Павла I многие чиновники высокого ранга оставили свои посты, а император Александр I начал с того, что вновь их призывал на государеву службу. Хвостов поехал в Петербург искать себе место, пути-дороги привели его к министру внутренних дел князю В.П. Кочубею. Тот предлагал на выбор три губернии, но Василий Семенович соглашался возглавить только Томскую. Свое решение он мотивировал тем, что уже знал Сибирь, а главное, что там низкие цены на все и вся. Назначение состоялось с производством губернатора в чин действительного статского советника. Тобольский, томский и иркутский генерал-губернатор И.О. Селифонтов на эту должность представлял своих кандидатов.
Торжества по случаю открытия новой губернии проводились в Томске 6-8 августа 1804 года, ритуал торжеств разрабатывал сам губернатор. Удивительно быстро Хвостову удалось собрать нужных людей губернского уровня, подыскать здания для присутственных мест. Костяк чиновничества составили люди, которых он хорошо знал по работе на Алтае.
Процессию на богослужение к церкви, а потом и к домам присутственных мест возглавляли конные казаки по три вряд, за ними шли четыре частных с городничих, затем городской магистрат с градским головой, два губернских стряпчие с прокурором, вице-губернатор А.И. Ведищев с асессорами и советниками… Сам губернатор с двумя советниками шел далеко не первым, после него двигались губернский землемер, уездный казначей, земский исправник, губернский архитектор, лекарь и прочие чиновники.
Любопытно, что построение отличалось от военного строя: если командир всегда идет впереди подчиненных, то здесь, напротив – после, строй как бы навыворот. И губернатор шел вслед за своими советниками, но один. Все чиновничество было приведено к присяге.
10 августа деловой бумагой за № 456 В.С. Хвостов докладывал генерал-губернатору Сибири И.О. Селифонтову об открытии губернии, где, между прочим, писал: «В сей день (то есть 6 августа) угощал я обеденным столом духовенство, чиновников гражданской и военной службы, магистрат в числе 64 персон… На третий день городское купеческое общество угощало обеденным столом всех в должностях состоящих штатских и военных чиновников. Все три дня город был иллюминирован, особенно же поставленную на Воскресенской горе у Соборной церкви картиною, с коей рисунок с изъяснением и сочиненные к оной стихи (Коллежским Регистратором г. Спасским) при сем приложить честь имею».
Став полноправным хозяином огромной по территории губернии, он объезжал уезды, налаживал управление, решал различные хозяйственные вопросы. Он предохранил от голода Туруханский уезд, в Енисейске завел хлебные запасные магазины. Воспользовавшись разрешенным ему отпуском, представил в Санкт-Петербурге свои соображения о реформах в губернии.