Джеймс Мэдисон покинул Белый дом в марте 1817 г. в возрасте 66 лет, передав президентство своему последователю и другу Джеймсу Монро, избранием которого он был глубоко удовлетворен. Мэдисон с женой направился на пароходе вверх по Потомаку к своему имению Монпелье. По словам одного из сопровождавших его знакомых, он «был счастлив, как школьник, отправляющийся на каникулы».

Правда, жизнь после отставки оказалась нелегкой. Джеймс покидал Белый дом, имея значительно меньшие средства, чем когда стал президентом. К тому же его табачная плантация стала к этому времени убыточной как в результате падения цен на табак, так и из-за недостатков в ведении хозяйства, которое было поручено приемному сыну, оказавшемуся полностью некомпетентным. Лишь постепенно стареющему бывшему президенту удалось привести свое хозяйство в сравнительно стабильное состояние.

Это позволило ему заняться общественными делами. Он писал политические статьи и письма, появлявшиеся в различных газетах и журналах, которые платили ему высокие гонорары. Вместе с Джефферсоном он участвовал в создании Вирджинского университета и сменил Джефферсона на посту ректора, каковым был десять лет, с 1826 по 1836 г., вплоть до своей кончины.

В 1829 г., когда Мэдисону стукнуло уже 78 лет, он был избран в состав Конституционного конвента Вирджинии, созванного для внесения изменений в Конституцию. Решался вопрос о представительстве в Законодательном собрании штата. Согласно Конституции, в него избиралось равное число депутатов от каждого графства. Но в последние десятилетия значительно увеличилось население западных графств, и их местные власти настаивали на изменении порядка выборов. Мэдисон поддержал предложение о введении представительства на основе численности населения графств. Однако депутаты от восточной части Вирджинии, главным образом плантаторы-рабовладельцы, формально согласившись с этим, фактически сорвали реформу, добившись включения в число жителей (то есть лиц, определяющих представительство) своих рабов, не имевших права голоса. Мэдисон был разочарован тем, что его предложения были сорваны.

Последние годы жизни Джеймс Мэдисон фактически не участвовал в общественной жизни. Он жил в своем имении, часто болел. Он скончался в Монпелье 28 июня 1836 г. и был похоронен на территории поместья. Основную часть своего наследства он завещал Вирджинскому и Принстонскому университетам. Долли получила только небольшую сумму, необходимую для содержания Монпелье. Она скончалась в 1849 г.

Джеймса Мэдисона в США чтят как одного из руководителей страны, неуклонно защищавшего республиканскую Конституцию, как деятеля, умевшего находить разумные компромиссы и оптимальные решения, обеспечивавшие развитие страны как одного из оплотов свободного предпринимательства. Президентство Мэдисона, в частности итоги войны 1812–1814 гг., стало временем закрепления государственного суверенитета США и их положения на мировой арене. Его имя носит город в штате Висконсин, улицы и площади во многих городах страны, университет в Харрисонбурге (Вирджиния). Его портрет можно увидеть на монете достоинством в один доллар.

В своем последнем обращении к Конгрессу Мэдисон писал, что свободы, права и справедливость американского народа «будут облегчать оставшиеся мне дни, оживлять мои молитвы во имя счастья любимой страны и укрепления тех основ, на которых она твердо стоит».