В 1758 году, когда старший сын князь Михаил Долгоруков достиг совершеннолетия, княгиня Наталья Борисовна постриглась в киевском Фроловском монастыре. В 1769 году, после смерти младшего больного сына, она прияла схиму под именем Нектарии. Схимонахиня Нектария скончалась в 1771 году.

Сын Натальи Борисовны князь Михаил Иванович очень почитал графа Петра Борисовича, однако внук ее князь Иван Михайлович Долгорукий относился к нему резко отрицательно. Отрицательное отношение он выплеснул на страницы своих сочинений. В 1810 году он писал: «…Граф Петр Борисович сделался наследником 60 тысяч душ не один, у него был брат, несколько сестер, в том числе моя бабка… и так граф Петр Борисович отнял все у безсильного и сделался могуч на чужих развалинах». Резко негативное отношение к графу Петру Борисовичу просматривается и в известном сочинении «О повреждении нравов в России» князя Михаила Михайловича Щербатова, свойственника князей Долгоруковых. Князь Щербатов писал о Шереметеве как о человеке, «не носившем, а таскавшем свое имя». О графе Петре Борисовиче крайне неприязненно писал и князь Петр Владимирович Долгоруков в своих мемуарах, изданных в 1868 году в Женеве. «…Она (княгиня Долгорукая. – А. К.) олицетворение физической и моральной красоты, он (граф Петр Борисович. – А. К.) не походил на нее и был способен на всякие низости…»

Граф С.Д. Шереметев, с большим почетом относившийся к доброму имени своих предков, в 1897 году на страницах журнала «Русский архив» опубликовал документ из домового архива, датированный 5 февраля 1745 года. Это расписка вдовы княгини Н.Б. Долгорукой, данная ею брату после ее возвращения с сыновьями из ссылки. В документе перечисляется все движимое и недвижимое имение, которая она от него получила по завещанию отца, фельдмаршала Шереметева. Она получила при выходе в замужество от брата движимого имущества на четырнадцать с половиной тысяч рублей, три тысячи рублей деньгами и «…вотчину в Пензенском уезде село Дмитриевское Тютняр тож, в ней мужеска пола пять сот душ с помещичьим двором и с винным заводом и с мельницами… с которой получается в год доходу шесть сот рублев». В тексте документа оговорено, что она или ее наследники заплатят неустойку в 1000 рублей, если кто-нибудь из них станет предъявлять требования на другие имения. К этой расписке приложена и «Роспись приданому княгини Н.Б. Долгорукой».

Совсем другой образ графа Петра Борисовича Шереметева предстает перед нами в воспоминаниях графини Антонины Дмитриевны Блудовой, которая ценила свое давнее родство с Шереметевыми – ее дед по матери князь Андрей Николаевич Щербатов приходился двоюродным братом графу Петру Борисовичу. «…Граф Петр Борисович был вообще добрый человек и родственник, как он доказал моему деду. Князь Н.П. Щербатов переехал уже на жительство в Москву, когда ему пришло время отдавать на службу сына своего, моего деда, князя Андрея, и отправить 16-летнего мальчика в Петербург. Это было в самом начале царствования Елисаветы. Его отправили прямо к двоюродному брату уже скончавшейся матери, и живя в его доме, скоро привязался к нему и к его жене, графине Варваре Алексеевне, урожденной княжне Черкасской… Они его полюбили… Родилась у них дочь Анна Петровна, которую князь Андрей полюбил с ея рождения как дочь, как сестру, как друга; она в нем находила и друга, и пестуна…»

Отношения графа Петра Борисовича с другой сестрой, княгиней Екатериной Борисовной Урусовой, были родственными, она получала от брата пенсию 500 рублей в год. Ее дети, два сына и две дочери, также поддерживали родственные связи со своим дядюшкой Петром Борисовичем. Княжна Анна Алексеевна Урусова получала от него пенсию. Княжна Варвара Алексеевна при выходе замуж за князя Ивана Федоровича Касаткина-Ростовского получила от дяди деньги на приданое. Однако между ними возникали трения материального характера – племянники Урусовы требовали приданную вотчину их матери в Алексинском уезде, которая вернулась в род Шереметевых.