Приморский дом в 1773 году тоже купила казна, а на его месте и на месте соседних домов, возведенных в 1720 – 1730-х годах, архитектор А.Н. Воронихин встроил монументальное здание Горного института.

Облик графа Петра Борисовича той счастливой для него поры запечатлен на его портретах, написанных Иваном Петровичем Аргуновым. В портрете, датированном 1753 годом, вельможа предстает перед зрителем с Аннинской лентой и звездой. У ног его собака, что должно напомнить об излюбленном развлечении русской знати – охоте. Этот портрет находился в Фонтанном доме, а ныне – в Государственном Эрмитаже. В 1760 году И.П. Аргунов написал парные портреты графа и его супруги, экспонируемые сейчас в Останкинском дворце-музее. Примерно в тот же период портрет графа П.Б. Шереметева писал придворный художник П. Ротари.

Художник И.П. Аргунов. Граф Петр Борисович Шереметев

Однако счастливый петербургский период его жизни оборвался в связи с драматическими событиями в семье. 2 октября 1767 года на 57-м году жизни скончалась его супруга графиня Варвара Алексеевна, с которой они счастливо прожили почти четверть века.

Художник И.П. Аргунов. Графиня Варвара Алексеевна Шереметева

Графиню Варвару Алексеевну погребли в Москве в Новоспасском монастыре, где похоронены ее предки. Надгробные надписи в то время были весьма пространными, и по ним можно проследить основные вехи жизненного пути человека. На ее могиле начертано: «На сем месте покоится тело графини Варвары Алексеевны Шереметевой, супруги графа Петра Борисовича Шереметева, дщери великого канцлера Алексия Михайловича Черкасского и княгини Марьи Юрьевны, родившейся в 1711 году сентября 11, при императрице Анне Иоанновне она была почтена достоинством фрейлины, при императрице Елисавете Петровне камер-фрейлиною и статс-дамою, с возложением портрета государыни императрицы. Браком сочеталась 1743 года 28 генваря. Скончалась 1767 года 2 октября, прожив от роду 56 лет и 22 дня».

Ее смерть была отмечена публикацией в Москве стихотворного произведения в характерном для того времени жанре: «Ода на кончину ея сиятельства действительной ея императорского величества штатс-дамы графини Варвары Алексеевны Шереметевой, урожденной княжны Черкасской, последовавшей на 57 году от ея рождения октября во 2 день, 1767 года в Москве, где и тело ея сиятельства погребено в Новоспасском монастыре, того ж октября 5 дня, сочиненная переводчиком Васильем Рубаном».

Череда смертей близких людей обрушилась в те годы на графа Петра Борисовича. В январе 1768 года скончался его младший брат Сергей, который жил в Москве.

17 мая 1768 года в Петербурге умерла от черной оспы старшая дочь, графиня Анна Петровна, фрейлина императрицы, считавшаяся одной из первых красавиц при дворе. За три месяца до смерти, в феврале, она обручилась с графом Никитой Ивановичем Паниным, воспитателем наследника престола Павла Петровича. В городе ходили слухи, что в действительности смерть ее подстроили завистники. Эти слухи в обществе жили столь устойчиво, что дошли до нас в воспоминаниях графини Антонины Дмитриевны Блудовой, писанных в 1880-х годах, спустя более века после тех событий.

Художник И.П. Аргунов. Графиня Анна Петровна Шереметева

Граф Петр Борисович не мог больше оставаться там, где прошли счастливые годы его жизни. В 1768 году он оставил службу. Манифест «О вольности дворянству…», изданный императором Петром III в 1762 году, позволял дворянам самостоятельно решать – служить или уйти в отставку. Екатерина II снизошла на просьбу отпустить его в частную жизнь в связи с трагическими обстоятельствами личной жизни. 29 июля 1768 года она подписала именной указ, данный Сенату: «Генерал-аншеф, Двора нашего обер-каммергер и сенатор граф Шереметев просил Нас об увольнении его от всех военных и гражданских дел…».