Конечно, у Милютина не было особых иллюзий относительно этой новой должности, работы много, при этом совершенно неизведанной, а служебная оплата крайне низкая, вряд ли хватит на обеспечение все растущей семьи. Труда он не боится, привык работать по много часов подряд, не выходя из кабинета, но Горемыкин и профессор Стефан упоминали о возможности совмещать с другими занятиями.

Дмитрий Алексеевич тут же написал отцу и Николаю, которые в ответ выразили удовольствие от скорой встречи и от назначения на почетную должность. «Надежда соединиться вскоре с тобой есть для меня не только бесконечная радость, но совершенное счастье, – писал Николай Алексеевич. – При теперешнем общем соединении нашего семейства в Петербурге ты необходим и для него, и для меня в особенности. О многом нужно мне с тобою, – и с одним тобой, – поговорить, посоветоваться, погрустить, порадоваться; одним словом – поделиться мыслью, чувством, словом».

7 января 1845 года поступило официальное распоряжение военного министра о переводе подполковника Д.А. Милютина в Петербург на службу профессором Военной академии. Пора было собираться к отъезду из Ставрополя.

Последовали высочайшие указы и относительно высшего начальства на Кавказе: генерала Нейдгарта, проявившего нерешительность и боязливость, мелочность и педантизм, освободить от занимаемой должности и назначить наместником и главнокомандующим Отдельным Кавказским корпусом с широкими полномочиями графа Михаила Семеновича Воронцова (1782–1856), новороссийского генерал-губернатора и наместника Бессарабской области, которого тут же вызвали в Петербург для царских указаний.

Генерал Гурко, получивший орден Святого Александра Невского и должность помощника графа Воронцова, предложил и Милютину перевод в Тифлис на выгодную должность, что подтвердил и граф Воронцов, но Дмитрий Алексеевич отказался от предстоящего переназначения, отказался от блестящей карьеры на Кавказе, куда хлынули целые толпы золотой молодежи из Петербурга, чтобы начать эту карьеру здесь, на Кавказе.

Петербургские военные друзья упрекали Милютина за то, что он предпочитает «инвалидную службу» блестящей карьере, но Милютина уже ничто не могло удержать в Ставрополе.

10 февраля 1845 года Милютин распрощался со своим начальством, с друзьями и коллегами, передал свою должность подполковнику Неверовскому и на следующий день «выехал из Ставрополя по хорошей снежной дороге». «Но путешествие предстояло нам нелегкое, с ребенком, только что отнятым от груди, – вспоминал Милютин. – Ехали мы в возке самого простого изделия. Большие затруднения встретились относительно питания ребенка; взятые с собою припасы от сильных морозов привозились на станцию в обледенелом виде; станции же были так плохо устроены, что часто не было возможности ничего достать на месте, ни даже погреться. В проезде через обширные степи донские настигла нас страшная вьюга; были дни, что, проехав одну только станцию, рады были добраться до какого-нибудь пристанища. Раз мы даже сбились с дороги от метели, долго кружили и среди ночи должны были остановиться в какой-то избушке, на которую случайно наткнулись и где выждали рассвета вместе с приютившеюся там кучкой рабочих. Путь избрали мы на этот раз через Ростов (на-Дону), Харьков, Курск, Орел и Тулу; в этих городах останавливались для отдыха; в Москве же провели три дня (в гостинице Шевандышева на Тверской) под гостеприимным кровом наших друзей – барона и баронессы Торнау. В Петербург прибыли только 12 марта, т. е. пробыв в дороге ровно месяц».

Дмитрий Алексеевич вовсе и не предполагал, сколько деловых встреч, сколько радостных свиданий с друзьями, товарищами, коллегами предстояло ему сделать, сколько раз ему нужно было рассказывать о Кавказе, о размолвках с начальством, об их характерах, о быте кавказцев и о собственном быте в Ставрополе и на линиях атаки наших войск…