Занимая должность министра юстиции и одновременно генерал-прокурора, Державин, как обычно, старался не допускать «утеснения сильной стороне людей бессильных». Он умело подбирал себе толковых, талантливых сотрудников. Например, обер-прокурором третьего департамента Сената назначил тридцатилетнего Дмитрия Осиповича Баранова, окончившего Московский благородный пансион. Он совершил несколько успешных инспекционных поездок, активно занимался и литературной деятельностью, общался с А. С. Пушкиным. Его репутация была безукоризненной.
Обер-прокурор Сената князь А. Н. Голицын так писал о нем: «В минуту желчи гений блестел в его глазах; тогда с необыкновенной проницательностью он охватывал предмет; ум его был вообще положителен, но тяжел; память и изучение законов редкая; но он облекал их в формальности до педантизма, которым он всем надоедал. Олицетворенную честность и правдивость его мало оценивали, потому что о житейском такте он и не догадывался, хотя всю службу почти был близок ко Двору».
Добиваясь справедливости, Державин резко выступал против многих министров и сенаторов, чем нажил себе немало врагов. Вскоре по этой причине положение Державина стало неустойчивым. Александр I также быстро охладел к поэту. Отставка не заставила себя ждать. На прямой вопрос генерал-прокурора, за что его увольняют, император ответил: «Ты очень ревностно служишь». – «А как так, государь, – не согласился Державин, – то я иначе служить не могу. Простите». 8 октября 1803 года император подписал указ – Державин был уволен со службы с пожалованием ему 10 тысяч рублей ежегодного пенсиона. Сорокалетняя служба Гаврилы Романовича на военном и государственном поприще завершилась.
Недруги ликовали. Появились пасквили и эпиграммы вроде следующей: «Ну-ка, брат, певец Фелицы, на свободе от трудов и в отставке от юстицы наполняй бюро стихов. Для поэзьи ты способен, мастер в ней играть умом, но за то стал неугоден ты министерским пером…»
Вряд ли отставка сильно огорчила поэта – теперь он всецело посвятил себя литературному труду. Зимнее время проводил в Петербурге, а на лето отправлялся в Званку – свое имение на берегу Волхова, верстах в пятидесяти пяти от Новгорода. В знаменитом стихотворении «Евгению. Жизнь Званская» он красочно изобразил, насколько сельская жизнь ему милее дворцовых интриг. Писал он и лирические стихотворения, и драматические произведения («Добрыня», «Пожарский, или Освобождение Москвы»); трагедии («Ирод и Мариамна», «Евпраксия», «Темный»), комические оперы («Дурочка умнее умных», «Рудокопы»). Работал над сборником афоризмов «Мысли мои», над философско-политическими статьями, занимался переводами. В 1804 году Державин писал Капнисту: «Скажу вам о себе: я очень доволен, что сложил с себя иго должности, которое меня так угнетало, что я был три раза очень болен».
Казалось бы, что государственные дела, которыми он с такой горячностью занимался долгое время, его уже не интересуют. Но это было не совсем так. Гаврила Романович называл себя «отставным служивым» и считал обязанным изредка напоминать о себе. В 1807 году он написал Александру I две записки, в которых прозорливо усмотрел опасность для России со стороны Наполеона и предлагал меры по «укрощению наглости французов» и как «оборонить Россию от нападения
Бонапарта». Об этом же он говорил с императором и при личной встрече. И снова император выслушал его благосклонно, но в очередной раз быстро охладел к его идеям.
Знавший Державина в первые годы после отставки литератор С. Жихарев (впоследствии московский губернский прокурор) вспоминал: «С именем Державина соединено было в моем понятии все, что составляет достоинство человека: вера в Бога, честь, правда, любовь к ближнему, преданность государю и Отечеству, высокий талант и труд бескорыстный…», «Это не человек, а воплощенная доброта, но чуть только коснется до его слуха какая несправедливость и оказанное кому притеснение или, напротив, какой-нибудь подвиг человеколюбия и доброе дело – тотчас оживится, глаза засверкают и поэт превращается в оратора, поборника правды…»