Однако отцовство Завадовского было трагичным: из тринадцати детей остались в живых лишь пятеро.

«В течение шести недель потерял я единородного сына и старшую дочь Татьяну, которая окончила четвертый год… Я познал, какова радость, какова печаль от детей: пятерых погреб; одна дочь шести месяцев остается, которая не ободрение, а более трепет сердцу наводит. Толико я несчастный отец!» – писал Петр Васильевич.

Жена, хоть и вышла за Петра Васильевича по любви, стала жаловаться на меланхолию и подозрительность мужа. Дети умирали. Дворцовые интриги и суета тоже подействовали на него. Сегодня бы сказали – депрессия. Завадовский потребовал отставки, однако Екатерина и слышать не хотела.

Кроме того, по всей империи ширились слухи, что супруга ему неверна. В свете стали поговаривать, что отцом появившихся позднее и оставшихся в живых Александра и Василия, а также их сестры Татьяны был князь Барятинский. Более того, в сплетни поверил даже Семён Воронцов, писавший Ростопчину при отправке в Петербург сына Михаила (будущего генерал-губернатора Новороссийского края):

«Я был бы рад, чтобы мой сын остановился у графа Завадовского, если бы, к несчастию, мой друг не был женат на совершенно распущенной женщине. Молодость имеет много прелести для такой особы: она способна была бы его обольстить».

В 1793 году Завадовский получил орден Св. Александра Невского. В том же году по желанию Екатерины II император Франц II пожаловал Петру Завадовскому и его братьям Якову и Илье титул графов Священной Римской Империи.

Император Павел в первые же часы воцарения интересуется Завадовским. Он прислал к нему в деревню камер-пажа узнать о здоровье, а по выздоровлении изъявил ему своё благоволение. Но Завадовский был недоволен кадровой политикой нового государя.

Своего мнения Завадовский не скрывал и, после смерти своего друга князя Безбородко, был в постоянном ожидании, «не ведая, откуда грянет гром». Ему казалось, что отставка неминуема, и он сам попросил о ней. Однако Павел отказал.

А в ноябре 1799 года государю сообщили, что секретарь Государственного ассигнационного банка, которым руководил Петр Васильевич, обманным путём получил 7 тысяч рублей. Сумма была не очень значительная, но Павел в гневе приказал немедленно отстранить Завадовского от службы. Так состоялась его вторая отставка.

Когда вспыльчивый император одумался, Петр Васильевич уже отбыл в Ляличи. У себя в имении он изощряется в хозяйстве: квасит ананасы, как капусту, и велит поварихе класть их и в квас, и в борщ.

В один из мартовских вечеров 1801 года, когда больной и опальный граф Завадовский сидел в большой гостиной дворца у мраморного камина, ему доставили собственноручный рескрипт нового императора Александра I. Раскрыв письмо, он прочитал:

«Граф Петр Васильевич, при самом начале вступления моего на престол я вспомнил и верную вашу службу, и дарования ваши, кои на пользу ея вы всегда обращали. В сем убеждении желаю, чтобы вы поспешили приехать сюда принять уверение изустное, что я пребываю вам, доброжелательный Александр».

«Жребий мой проводить старость не в покое, не в отдохновении, как и вся жизнь суетна была», – проворчал шестидесятичетырехлетний Завадовский и заторопился в столицу.

В мае 1801 года граф Завадовский был назначен председателем Комиссии по составлению законов. Он пишет Семёну Воронцову: «Тучи книг теоретического законоведства, которое не клеится с русским бытом… Непомерно хочется истребить кнут, которого я не видал ни в натуре, ни в действии, но одно наименование поднимало и поднимает во мне всю ненависть».