Брюс был не только верным исполнителем державных замыслов Петра, но и принимал деятельное участие в его семейных делах. В свое время Петр поручил Якову Вилимовичу регулярно посещать царевича Алексея, очевидно, надеясь, что беседы умного и широко образованного человека повлияют на непутевого наследника. При дворе царевича состояла и супруга Брюса Мария (Марфа) Андреевна. Характерно, что под смертным приговором Алексею Брюс свою подпись не поставил.

Весной 1723 года, когда Петр праздновал очередную годовщину бракосочетания с Екатериной, Яков Вилимович, распоряжаясь торжествами, устроил в Петербурге грандиозную процессию кораблей, поставленных на полозья и запряженных лошадьми.

Французский посланник Кампредон рассказывал: «Царь ехал на 30-пушечном фрегате, вполне оснащенном и с распущенными парусами. Впереди в шлюпке в виде бригантины с трубами и литаврами на носовой части оного ехал распорядитель праздника, главный начальник артиллерии граф Брюс».

7 мая 1724 года во время коронации Екатерины Брюс нес перед ней новую императорскую корону, а супруга Брюса была в числе пяти статс-дам, поддерживавших шлейф Екатерины. А 28 января 1725 года Брюс в последний раз служит Петру I, будучи главным распорядителем на его похоронах.

После смерти Петра Брюс продолжает свои занятия и по коллегиям, и по артиллерии, но начавшийся передел власти между вельможами вынуждает его просить отставки. Надо полагать, что поводом к ней послужило невключение Брюса в состав Верховного тайного совета, учрежденного Екатериной I. Недоверие к новому правительству выражается в просьбе Брюса к Екатерине I выдать ему специальную Жалованную грамоту, подтверждающую права на поместья и графский титул. 31 марта 1726 года новоиспеченная императрица удовлетворяет эту просьбу, и 6 июня Брюс выходит в отставку с чином генерал-фельдмаршала и орденом Александра Невского. Вместе с женой он переезжает в Москву и покупает у А. Г. Долгорукова подмосковное «сельцо Глинково» в 42 верстах от Москвы, при впадении реки Вори в Клязьму.

Отойдя от дел государственных, Яков Вилимович серьезно занялся любимым делом – наукой. Обустроив усадьбу Глинки и оборудовав в ней обсерваторию, он продолжил астрономические наблюдения, время от времени наведываясь в Москву, в Сухареву башню. Кроме того, он занимается проблемами чистой математики, разработкой проблем практической оптики, нахождением точных методов определения удельного веса металлов, отыскиванием способов очистки металла от посторонних примесей. (Его ученик В.Н. Татищев, будучи одним из руководителей московского Монетного двора, привлек его к работе.)

Установленный Брюсом удельный вес золота, серебра, меди практически не отличается от современных значений. А хранящееся в Государственном Эрмитаже большое вогнутое металлическое зеркало для отражательного телескопа, изготовленное «собственным тщением» Брюса в августе 1733 года, и две, им же изготовленные зрительные трубы не уступают лучшим образцам и более позднего времени.

Также Брюс увлекается медициной и оказывает помощь окрестным жителям, составляя лекарства из трав. Это породило новые слухи о том, что «он знал все травы, этакие тайные, и камни чудесные, составы разные из них делал, воду даже живую произвел, то есть такую воду, что мертвого человека живым и молодым делает». Легенды о живой воде, якобы созданной Брюсом («должно быть, не своей силой произвел!» – делали большие глаза рассказчики) обрастали столь яркими подробностями, что характеризовали скорее не Брюса, а рассказчиков. В вариациях на тему живой воды и проб Брюса ее чудодейственной силы над самим собой присутствуют то царь Петр и турецкий раб Брюса, то его же старик-слуга, омоложенный хозяином, и Брюсова жена. Заканчиваются эти рассказы тоже по-разному: иной раз не удается Брюсу ожить, то по воле царя, то по неосторожности жены. Интересно, что еще в конце 1830-х годов в Жиздринском уезде Калужской губернии, в селе Чернышине, некогда принадлежавшем Брюсу, жил столетний камергер прежних владельцев имения. И местные жители, передавая друг другу легенду о живой и мертвой воде, созданной Брюсом, и о его экспериментах над самим собой, указывали на старика-камердинера, как на того самого человека, который вспрыскивал водой изрубленного им же Брюса.