Сам же Брюс по указанию царя в 1711 году отправился в Берлин «для найму мастеровых людей знатных художеств, которые у нас потребны». Занимался Яков Вилимович и покупкой инструментов для научных и мореходных целей. Приобретал художественные произведения и редкости для царского собрания. Во время таких поездок он познакомился с немецким ученым Г. Лейбницем и потом вел с ним переписку.
Учредив Сенат, Петр назначил в него и Брюса, сделав его в 1717 году президентом Берг– и Мануфактур-коллегий. Теперь в ведении Брюса было развитие горнодобывающей промышленности и заводского дела в России. Однако в это же время он продолжал совершенствовать русскую артиллерию, пообещав царю, что сможет добиться большей скорострельности орудий.
Обрадованный Петр отвечал: «Ежели сие сыщете, то великое дело будет, за которую вашу прилежность зело благодарствую».
В том же 1717 году Брюсу пришлось стать дипломатом, на которого Петр возложил ответственную миссию. Вместе с А.И. Остерманом он отправился на Аландский конгресс для выработки условий заключения мира со Швецией.
Смерть шведского короля Карла XII прервала переговоры. Но в 1721 году они возобновились. Тонкая изворотливость Остермана и непоколебимая твердость Брюса удачно дополняли друг друга. Они с честью выполнили возложенное на них поручение. По условиям Ништадтского мира к России отошли Лифляндия, Эстляндия, Ингерманландия, часть Карелии и Моонзундские острова.
Петр, получив известие о таком окончании переговоров, был весьма доволен, сказав, что «николи наша Россия такого полезного мира не получала».
Брюс был не только верным исполнителем державных замыслов Петра, но и принимал участие в его семейных делах. Петр поручил Якову Вилимовичу регулярно посещать царевича Алексея, очевидно, надеясь, что беседы умного и широко образованного человека повлияют на непутевого наследника. При дворе царевича состояла и супруга Брюса Мария Андреевна (Маргарита Мантейфель). В 1724 году во время коронации Екатерины Брюс нес перед ней императорскую корону, а супруга его была в числе пяти статс-дам, поддерживавших шлейф Екатерины.
А в следующем году именно Яков Брюс был главным распорядителем на похоронах Петра.
Екатерина I, утвердившись на русском престоле, не забыла заслуг Брюса, наградив его орденом Александра Невского. Но, увидев, как «птенцы гнезда Петрова» начали жестокую вражду, деля почести при дворе Екатерины, Брюс в 1726 году благоразумно удалился в отставку в чине генерал-фельдмаршала.
В 1727 году он купил у А.Г. Долгорукого подмосковное имение Глинки, разбил там парк, выстроил дом с обсерваторией и безвыездно жил там, занимаясь любимыми науками. Он увлекся медициной и оказывал помощь окрестным жителям, составляя лекарства из трав.
Умер Брюс в 1735 году, немного не дожив до 66 лет. Детей у него не было. Испанский посол де Лириа писал о нем: «Одаренный большими способностями, он хорошо знал свое дело и Русскую землю, а неукоризненным ни в чем поведением он заслужил общую к себе любовь и уважение».
Однако в памяти народной почему-то упрочился иной образ Брюса – колдуна и чернокнижника. Повод для подобных подозрений он сам подал еще в молодости. В конце XVII столетия в Москве была выстроена Сухарева башня, и москвичи стали замечать, что время от времени ночной порой в верхних окнах башни таинственно мерцал свет. Это друг царя Ф.Я. Лефорт собирал «Нептуново общество», увлекавшееся, по слухам, астрологией и магией. В общество входили еще восемь человек, и среди них – сам любознательный царь, неразлучный с ним Меншиков и Яков Брюс.