С учетом дипломатических успехов Джефферсона, Вашингтон назначил его государственным секретарем, то есть министром иностранных дел (госсекретарь считался тогда первым помощником президента и имел определенные полномочия в области внутренней политики). Очень быстро возник, а затем углубился конфликт между ним и секретарем казначейства федералистом Александром Гамильтоном. Создание Первого банка США и начатые им финансовые операции по выплате военных долгов привели к денежным спекуляциям и усиливавшемуся расслоению общества. Гамильтон и его сторонники считали это естественным процессом, тогда как Джефферсон и возглавляемые им республиканцы обвиняли федералистов в том, что они, организуя выплату долгов все более обесценивавшимися бумажными банкнотами, получали за одолженные ими деньги полноценную золотую валюту.

Поскольку Вашингтон поддерживал в основном Гамильтона, в его руки отчасти перешли и внешнеполитические вопросы, хотя они являлись областью ответственности Джефферсона. Стремясь к примирению с Великобританией, вступившей в войну с Францией, Гамильтон обвинял Джефферсона в «женственной привязанности к Франции и столь же женственной неприязни к Великобритании». Понимая, что власть все более ускользает из его рук, Джефферсон в конце 1793 г. ушел в отставку и удалился в свое вирджинское поместье Монтичелло.

Он занялся благоустройством своего поместья, спроектировал его главное здание – этакий небольшой замок. В то же время он очень внимательно следил за американской политикой. Его крайне возмутило подписание в ноябре 1794 г. с Великобританией «договора Джея» (о дружбе, торговле и мореплавании), который в американском обществе был расценен как неравноправный.

Действительно, американские корабли не получили права заходить в британские порты, которые еще оставались в Америке (на территории Канады), в то время как британские суда могли посещать все морские и речные порты США. Были и другие явно дискриминационные статьи. В то же время статьи договора подтверждали независимость США, предусматривалось создание смешанных комиссий для уточнения границ, для определения взаимных финансовых претензий. Несмотря на яростную оппозицию республиканцев, утверждавших, что договор чуть ли не превращает США в колонию, он был ратифицирован Конгрессом.

Разногласия с Гамильтоном, переросшие в личную вражду, привели к тому, что Джефферсон совместно с Мэдисоном занялся созданием на базе групп своих сторонников Демократическо-республиканской партии. Хотя она фактически функционировала с 1792 г., официальное сообщение о ее создании Джефферсон и Мэдисон издали в 1799 г. В партию вошли руководители администраций и местные лидеры прежде всего южных штатов, а также Нью-Йорка. Партия резко критиковала федералистов, обвиняла Гамильтона в монархистских тенденциях, выступала за расширение полномочий штатов, нейтралитет в европейской политике.

На президентских выборах 1796 г. Джефферсон стал главным соперником Адамса и, заняв второе место по числу голосов выборщиков, получил пост вице-президента. По договоренности с Адамсом его основной функцией стало председательствование в Сенате, причем без права голоса. (Кроме случаев, когда верхняя палата оказывалась в патовом положении: при равенстве голосов «за» и «против». В такой ситуации голос вице-президента решал исход голосования. Эта правовая норма сохранилась до наших дней.)

В целом, однако, вице-президентство Джефферсона было весьма своеобразным: фактически он выступал против большинства мероприятий правительства, в частности против актов о подстрекательстве к мятежу и об ограничении иммиграции. Вице-президент предупреждал президента Адамса, что посягательства последнего на «суверенитет штатов» встретят сопротивление и что он, Джефферсон, это сопротивление поддержит. Федеральное правительство, утверждал он, является агентом штатов, опасность республике исходит от излишней федеративной власти, а не от «анархии», исходящей из среды необразованных масс. Впрочем, на практике он был чужд этих масс, как и они обычно оставались в стороне от бурных дискуссий.