В первые годы правления Павла I карьера П.В. Завадовского еще более пошла вверх: в день своей коронации, 5 апреля 1797 года, император пожаловал Петру Васильевичу графское достоинство, орден Св. Андрея Первозванного и орден Анны 1-й степени. Завадовский продолжил заседать в совете при Высочайшем дворе, в Сенате, в Воспитательном обществе, управлять Заемным банком. В 1798 году он был назначен главным директором Ассигнационного банка по личному распоряжению Павла I.

8 января 1799 года Завадовскому был пожалован командорский крест Иоанна Иерусалимского, после чего Павел I посетил бал у Петра Васильевича – по тем временам это был высший знак монаршей милости. Но благосклонность императора Павла, как известно, была переменчива, и уже 6 ноября 1799 года Завадовский был уволен от службы и выслан из Петербурга в свое имение – село Ляличи, где и пребывал до смерти Павла. Там за Завадовским был установлен негласный надзор; из донесений надзирателя мы знаем, что он вел жизнь скромную и тихую, занимаясь хозяйством и домостроительством, а также много читал.

Сразу же после вступления на престол Александра 1,12 марта 1801 года, П.В. Завадовский был вновь вызван ко двору и назначен членом Непременного совета, сенатором, а с 5 июня того же года – председателем Комиссии составления законов. Он активно участвовал в проектировании реформ в первые годы правления императора Александра.

Как сенатору, Завадовскому почти сразу же было поручено подготовить доклад обо всех указах, касающихся деятельности Правительствующего сената с момента его учреждения. Петр Васильевич не только выполнил это поручение, но и подготовил свою записку «О правах и преимуществах Сената», состоявшую из двух частей. Первая часть представляла историю Сената. Правда, автор записки выбрал только те моменты в развитии этого учреждения, которые выражали его собственную позицию по данному вопросу. Он подробно описал историю Сената в первые годы его существования (1711–1718), когда он действительно имел черты верховного органа управления страной. Далее Завадовский красочно разъяснил причины «падения Сената», которые он видел в том, что «властолюбивые лица, пользуясь доверенностью государевою, стремились к тому, чтоб им, а не местам властвовать в делах». При этом Сенат стал окончательно бессилен перед генерал-прокурором, имеющим право наложения вето на любое решение сенаторов.

Вторая, проблемная, часть представленного документа состояла из 15 статей. В самом ее начале Завадовский подчеркнул, что является сторонником самодержавной власти, которая «должна существовать навсегда существенно и неограниченно». Вместе с тем для стабильного управления столь обширной державой, как Российская империя, в помощь правителю необходим верховный орган, каким может и должен быть Правительствующий сенат. Для этого на Сенат необходимо в полном объеме возложить исполнительные и судебные функции, оставив монарху лишь право помилования: «…должность Сената – предохранять прерогативы монарха, исполнять его волю, следить за осуществлением законов, обеспечить течение правосудия, пекшись о всякой пользе народной». Для поднятия авторитета Правительствующего сената автор проекта предлагал передать сенаторам право назначать чиновников на нижние и средние места, а также «избирать и представлять монарху на утверждение кандидатов на высшие должности губернаторов и президентов коллегий, кроме иностранной, военной и морской».

При анализе представленного проекта становится очевидным, что П.В. Завадовский стремился доказать необходимость контроля высшего аристократического органа, Правительствующего сената, над всеми сферами управления. Хотя он и не раз повторял, что является сторонником самодержавной власти, ряд положений предлагаемого проекта был очевидно направлен на ее ограничение. Так, в данном документе прямо указывалось, что один раз принятое решение становится обязательным для исполнения как Сенатом, так и монархом, причем в равной степени. При этом контроль над исполнением законов также возлагался на Сенат. По предложенному проекту значительно уменьшалась и роль генерал-прокурора, призванного контролировать деятельность Сената.