В конце 1801 года император объявил конкурс на замещение десяти губернаторских мест. Долгоруков делает по этому поводу язвительное замечание: мол, Александр I предъявил к кандидатам такие высокие качества, с какими по всей империи и двух человек было не найти. Но стал ждать – его кандидатура была включена в список.

Спустя месяц, когда князь играл на сцене любительского театра и произнёс согласно роли фразу «Я могу увидеть себя облачённым какой-нибудь блестящей должностью», зал разразился бурными овациями. Он недоумевал над чрезмерной реакцией зрителей, но недоумение разъяснилось, когда он сошёл со сцены. Ему сообщили, что он назначен губернатором во Владимирскую область. Придя домой, он расплакался, сам не зная отчего: от радости или печали. Таковы были люди конца галантного века – с тонкой чувствительностью, искренними и в радости, и в печали и без зазрения совести требующих себе почестей и власти.

3 марта 1802 года новый владимирский губернатор был приведен к присяге в Успенском соборе обер-секретарём сената, а на следующий день, собрав котомку, приложившись к домашним образам, крепко обняв супругу и заручившись благословением матери, «бросился в коляску». Евгения Сергеевна, естественно, оставалась в Москве, пока супруг не устроит во Владимире семейное гнездо. Слёзы лились рекой из очей Ивана Михайловича и капали на капот сопровождавшего его до заставы приятеля. Пока был кто-то рядом, князю всё не верилось, что он покидает Москву надолго, ему всё казалось, что вот он пообедает с приятелем в трактире и вернётся с ним домой. Но нет, на заставе подняли шлагбаум, рогожский ямщик свистнул, лошади рванулись вперёд, и фигура провожавшего уплыла в небытие. 5 марта «из царства роскоши, довольства и свободы» он въехал в благословенный город Владимир, в котором проведёт целых десять лет.

Все губернаторы обычно получали 3 тысячи рублей подъёмных16, но князю Ивану по каким-то причинам их не выдали. Все вещи уже были заложены в ломбарде, и закладывать было нечего, так что ему пришлось одолжить две тысячи рублей у родственного князя Ю.В.Долгорукова, да тысячу рублей ему подарила тётушка княгиня Шаховская.

Согласно этикету, на границе Московской и Владимирской губерний нового губернатора встретил исправник г. Покров В. И.Ларионов. В Покрове ему передали целую кипу бумаг, касающихся текущих дел губернии, но князь Иван не удостоил ни одну из них своим вниманием. «Небольшой круг жителей города поторчали передо мною, потряслись раболепно, прятали пальцы в камзольные петли и, пожелав мне счастливого пути, разошлись по домам славить жёнам своим и домашним, с кем новый губернатор молвил, на кого взглянул, от кого отвернулся», – пишет он со снисходительным высокомерием об уездных жителях. Покров, во всяком случае, оживился, стал наполняться слухами, а кумушки – плести сплетни.

Проверив казённую кассу городка, заглянув в тюрьму к колодникам, он на следующее утро поехал во Владимир. Исправники других уездных городов, как и Покрова, исправно встречали Долгорукова, а во Владимире его ждали губернаторская карета и полицмейстер М.А.Трусов. Пока он ехал по городу, полицмейстер ввёл его в курс местных дел и событий, так что Иван Михайлович почувствовал, что въезжает в хорошо знакомый город. Изо всех окон на него глядели любопытные владимирцы, на квартире его ждали чиновники с тугими папками документов, но он, проехав через весь город, вошёл в собор, приложился к мощам трёх великих князей, которых он ошибочно считал своими предками17, затем заехал к архиерею и, получив благословение, отправился, наконец, на свою временную квартиру к вице-губернатору князю С.Н.Хованскому (1798—1802), с которым познакомился ещё в Москве. Супруга его предшественника д. с. с. Рунича Павла Степановича (1797—1802), переведенного в Вятку, ещё не выехала из губернаторского дома.