Как-то император решил дать особое поручение Аракчееву: наблюдать за наследником своим, бабушкиным баловнем, и доносить обо всех его проступках. Вот как ответил на высочайшее распоряжение будущий граф:

– Умоляю Ваше Императорское Величество избрать для этого кого-нибудь другого. Я же к такому делу не способен и не могу быть орудием несогласий между отцом и сыном…

Одна такая фраза могла означать конец блестящей карьеры. Однако никаких репрессий не последовало. По-прежнему граф был удостоен государевой милости. Вседневные рапорты с пяти часов утра граф подносил императору лично. Иногда какие-то бумаги должен был подписывать наследник, и комендант Аракчеев отправлялся в его спальню. Александр Павлович был уже женат к тому времени, и супруга его Елизавета Алексеевна, бывшая принцесса Баден-Дурлахская, закрывалась с головой одеялом, чтобы граф ее не увидал. А императору комендант всегда докладывал, что наследник уже встал и работает над бумагами, хотя тот ещё нежился в постели. Ни разу не предал, не подставил великого князя – и потом это ему зачтется…

Казалось, суровость была дана ему от природы. Он никогда не смеялся и казался бульдогом, который, не смея никогда приласкаться к господину, всегда готов напасть и загрызть всех, кои воспротивились бы воле хозяина. Жесток и беспощаден был этот суровый и всесильный человек.

Однако, как утверждает писатель и историк В. А. Сухово-Кобылин, потомки слишком строги в своем приговоре Аракчееву, они даже строже, чем он сам был в жизни. «Неоспоримо, – пишет он, – что Аракчеева было бы странно назвать человеком добрым. Он был неумолим ко взяточничеству или нерадению по службе. Тому, кто пробовал его обмануть (а обмануть его было трудно, почти невозможно), он никогда не прощал; мало того: он вечно преследовал виновного, но и оказывал снисхождение к ошибкам, в которых ему признавались откровенно, и был человеком безукоризненно справедливым; в бесполезной жестокости его никто не вправе упрекнуть».

Аракчеев был «деятельности неутомимой». Во время походов, лишь только армия занимала дневные квартиры, его канцелярия мигом принималась за дело. От его зоркого глаза не ускользала ни одна, даже самая мелкая проблема вверенного ему министерства. Бездельников он не терпел.

После коронации Павел I провел некоторое время в Москве, а в мае предпринял осмотр западных губерний России. В путешествии его сопровождал и Аракчеев. Сохранилась записка наследника Александра к Аракчееву в связи с этим назначением: «Друг мой Алексей Андреевич! Я пересказать тебе не могу, как я рад, что ты с нами будешь. Одно у меня беспокойство – это твое здоровье. Побереги себя ради меня».

Осенью 1796 года Аракчеева производят в генерал-майоры и назначают комендантом Петербурга, затем – начальником свиты Его Императорского Величества. Император Павел, как известно, запросто возвышал и так же легко удалял в опалу. В 1798 году император уволил Аракчеева «без прошения в отставку». Через неделю он возвратит его на службу, назначит инспектором всей артиллерии и возложит на него обязанность отдавать «предварительные распоряжения по армии» от своего имени.

5 мая 1799 года Аракчеев получит графский титул «за отличие, усердие и труды, на пользу российскаго Отечества подъемлемые». В качестве подарка он получит село Грузино с двумя тысячами душ. А спустя пять месяцев по лживому доносу вновь будет отправлен в отставку – на долгих четыре года, за которые молодой граф создаст в своем имении по красоте и архитектуре второе Царское Село, а может быть, и второй Версаль.