Яков Петрович Реметев родился в декабре 1775 г., рос при отце, получил домашнее воспитание. Когда отец умер, ему исполнилось 13 лет, отец уже записал его в службу в Преображенский полк. Такой порядок был обычным для того времени: детей, в том числе и внебрачных, но признанных отцами, записывали на службу в детстве – дети росли, учились (это тоже считалось службой) и к 17 годам состояли уже в офицерских чинах. Имя Якова Реметева встречается в кондуитных (послужных) списках лейб-гвардии Преображенского полка, в числе капитан-поручиков. Там отмечено, что ему 19-й год, на иностранной службе и в военных кампаниях не был, знает французский язык[187]. Соответственно, Яков Петрович жил в это время уже в Петербурге, в Фонтанном доме. В 1799 г. Реметев перешел на гражданскую службу, при этом его военный чин гвардии капитана переименовали в надворные советники. Первоначально он значился «не у дел»[188]. В 1805 г. граф Николай Петрович сделал попытку определить своего единокровного брата в русское посольство, отправляющееся в Китай, но его ходатайство не удовлетворили. По всей видимости, не всегда корректное поведение брата очень беспокоило графа, особенно когда Яков Петрович был не на глазах. Однако он продолжал числиться на службе и карьеру свою закончил в чине действительного статского советника.
В материальном отношении Я.П. Реметев был вполне обеспечен отцом и братом. По завещанию графа Николая Петровича 1804 г., коллежскому советнику Якову Реметеву назначалось 200 тыс. руб.[189] Владел он и недвижимым имуществом. Так, граф Николай Петрович предназначил ему 1000 душ крестьян в селе Спасское Орловской губернии и купленный у Талызина дом в Москве, с конюшней. 30 октября 1803 г. князь Ф.С. Щербатов писал графу в Петербург: «При осмотре домов заглянул я в дом… Якова Петровича Реметева, в бывший Талызина. Нашел в нем большое от мышей озарничество, особливо под обоями, чтобы упредить большой ему убыток, советую по первой почте отправить сюда кошек до десятка»[190]. Неизвестно, были ли отправлены в Москву столичные кошки, известно лишь, что временами Яков Петрович жил в Москве, однако этот «бывший талызинский» дом не остался за ним, дом купил у графа Шереметева коммерции советник Иван Васильевич Кусов.
В июне 1811 г. Яков женился на Аграфене Александровне Тиньковой, которая умерла в декабре 1813 г.[191] Второй брак, с Александрой Ивановной, урожденной Карцовой, дочерью контр-адмирала, оказалася не очень счастливым. В архиве сохранились жалобы жены на мужа, датированные 1821–1822 гг. У нее был собственный дом в 4-й Адмиралтейской части на набережной реки Пряжки, между Матисовым и Банным мостами.
Умер Я.П. Реметев в 1842 г. и погребен на Смоленском кладбище, подле первой супруги.
В 1812 г. у Якова Петровича Реметева и его первой жены родился сын Петр. Он получил отцовское имение в Орловском уезде[192], но дальнейшая его судьба неизвестна. Но были у Якова Петровича и внебрачные дети. По духовному завещанию отца его законный сын, коллежский секретарь Петр Яковлевич Реметев, должен пожизненно обеспечивать троих внебрачных дочерей своего покойного отца, которые получили фамилию Яковлевы: Софью (в замужестве Штенк), Анну и Надежду[193].
В марте 1779 г. у графа Петра Борисовича Шереметева родился третий внебрачный ребенок, дочь Маргарита. После смерти отца она жила сначала в Москве, затем в Фонтанном доме под опекой своего единокровного брата, графа Николая Петровича. Для нее устроили особую квартиру в Канцелярском флигеле, окнами на Литейную улицу. Граф Николай Петрович даже баловал Якова и Маргариту. Сохранилось, например, такое собственноручное его повеление 1801 г.: «Июня 4. Собственной моей канцелярии. Немедленно внести Якову Петровичу и Маргарите Петровне по 300 всякому, что и составит 600 руб. и сказать им, чтоб они употребляли, куда они рассудят, а Маргарите, коли что хочет купить, то посоветывалась, кто знает»