Вновь принят на ту же должность только 15 мая 1803 г.
Его усилиями русская артиллерия была подготовлена к войне 1805 г., оперативно реорганизована и доучена с учётом опыта этой войны.
27 июня 1807 г. произведён в чин генерала от артиллерии и наделён правом издавать указы по артиллерийской части от имени Государя.
13 января 1808 г. заменил генерала Сергея Кузьмича Вязмитинова (1744—1819) на посту министра военных сухопутных сил и назначен генерал-инспектором всей пехоты и артиллерии.
30 августа 1808 г. Ростовский мушкетёрский полк назван в его честь мушкетёрским (а с января 1811 года – гренадёрским) графа Аракчеева полком!
18 января 1810 г. – председатель Военного департамента Государственного совета.
Во время Отечественной войны 1812 г. находился при императоре Александре I в Императорской Главной квартире, заведовал комплектованием войск и ополчения.
В ходе Заграничных походов 1813—14 гг. исполнял обязанности начальника Императорской походной канцелярии, присутствовал в сражениях при Люцене и Бауцене.
При вступлении союзных войск в Париж император Александр подписал указ о производстве Аракчеева в генерал-фельдмаршалы, но последний, ссылаясь на то, что непосредственно войсками не командовал, упросил государя отменить указ и принял в качестве награды портрет императора с бриллиантами «для ношения на шее».
С 1815 г. в связи с частыми отлучками Александра I за границу, фактически руководил Государственным советом и Комитетом министров.
С 1817 г. – главный начальник военных поселений, лично руководил подавлением выступлений военных поселян.
После смерти Александра I подвергся опале и был отстранён от дел!
Весной 1826 г. вышел в отставку и поселился в своём имении Грузино Тихвинского уезда, где занимался хозяйством.
Из «Записок» генерал-майора Николая Александровича Саблукова (1776—1848): «По наружности Аракчеев похож на большую обезьяну в мундире. Он был высок ростом, худощав и жилист; в его складе не было ничего стройного; так как он был очень сутуловат и имел длинную тонкую шею, на которой можно было бы изучать анатомию жил, мышц и тому подобное. Сверх того, он как-то судорожно морщил подбородок. У него были большие, мясистые уши, толстая безобразная голова, всегда наклоненная в сторону; цвет лица его был нечист, щеки впалые, нос широкий и угловатый, ноздри вздутые, рот большой, лоб нависший. Чтобы дорисовать его портрет – у него были впалые серые глаза, и всё выражение его лица представляло странную смесь ума и злости».
Умер кавалер орд. Св. Александра Невского, Св. Владимира 1-й ст., Св. Анны 1-й ст., Св. Иоанна Иерусалимского, прусских Орд. Красного Орла 1-й ст. и Чёрного Орла, австрийского Орд. Св. Стефана 1-й ст. 21 апреля 1834 г. в возрасте 64 лет.
Похоронен в церкви Святого Андрея Первозванного в Грузино.
…Между прочим, всё своё состояние (1 500 000 рублей) завещал императору Николаю I, который пожертвовал его Новгородскому кадетскому корпусу, названному «Аракчеевским»)…
Аракчеев,Алексей Андреевич (23.9 или 4.10.1769, сельцо Гарусово, Тверской пров. Новгородской губ. – 21.4 или 3.5.1834, село Грузино Тихвинского у. Новгородской губ.) – генерал от артиллерии (1807) и граф (1799), сутуловатый и костляво-жилистый, со свирепым взглядом, большими мясистыми ушами и таким же нависающим над большим ртом носом, жестокий и скорый на расправу, был очень влиятельным государственным деятелем в военном ведомстве России времен правления двух таких противоположных российских императоров, как Павел I и его сын Александр I.
…Между прочим, его не очень жаловали «братья по оружию» и, тем более, за солдафонство и грубость не любили в светском обществе, считая «бульдогом, какой не смел никогда ластиться к господину, но всегда готовый напасть и загрызть тех, кои бы восприпятствовались его воле». Хорошо известна полуанекдотическая молва, гласившая, что Аракчеев якобы съедал… неугодные царю прошения, чтобы только не докладывать о них! Не случайно за его сиюминутную готовность решительно пресечь любую попытку неповиновения государю, он был удостоен императором девиза «Без лести предан»