Научные эксперименты и инженерные открытия графа порождали у местных жителей суеверный ужас, закрепивший за Брюсом славу колдуна. Стали рассказывать про дракона, влетающего по ночам в окна обсерватории, о том, что сам Брюс может летать, надев на руки огромные крылья, о горничной из цветов, о чарами замороженном летом пруде, на котором можно кататься на коньках… Да мало ли волшебных сказок может придумать русский народ, дай ему для этого повод? Но что характерно, хоть и подозревали Брюса в связях с нечистой силой, однако во всех рассказах он выступает в роли скорее доброго и чудаковатого волшебника, чем злого колдуна.

В Глинках Брюс прожил около десяти лет, очень уединенно, якобы под охраной взвода солдат (приводятся даже оценки военных историков, по которым численность взвода составляла не менее тридцати человек). Умирал он в одиночестве: его дочери не пережили младенческий возраст, а жену он похоронил 30 апреля 1728 года.

Брюс скончался в апреле 1735 года, немного не дожив до 66 лет. Был погребен в Немецкой слободе, в старой лютеранской кирхе (ныне улица Радио в Москве). Усадьба Глинки будет во владении Брюсов до 1815 года, в 1757 же году в конце парка наследники построят церковь и фамильную усыпальницу Брюсов.

Так закончился земной путь Якова Брюса, и продолжилась жизнь легендарная. Поводов к тому Брюс подал предостаточно. Взять хотя бы книги, которые нашли чиновники, составлявшие опись кабинета Брюса. Среди них были: «Философия мистика» на немецком языке, «Небо новое» на русском языке, загадочная книга, состоявшая из семи деревянных дощечек с вырезанным на них непонятным текстом, и еще много книг по магии и астрологии, не считая других – полторы тысячи томов по математике, физике, химии, астрономии, военному делу, архитектуре, медицине, истории, богословию, искусству и художественной литературы. Однако магической Брюсовой книги, писанной волшебными знаками, дающей власть над миром и принадлежавшей некогда чуть ли не премудрому царю Соломону, так и не нашли. И еще больше уверились, что Брюс перед смертью замуровал ее в Сухаревой башне. О том, насколько стойкими и убедительными были эти легенды, свидетельствует то, с какой скрупулезной тщательностью разбирала новая власть Сухареву башню в 1934 году. Именно разбирала: она не была взорвана или просто разрушена, как огромное количество «ненужных» и «неудобных» зданий в Москве, коими были, прежде всего, церкви. Когда предлог сноса был найден: башня мешает транспортному движению, никакие доводы авторитетных специалистов значения уже не имели. Резолюция Сталина была безапелляционной: «Мы изучили вопрос о Сухаревой башне и пришли к тому, что ее надо обязательно снести. <.> Архитекторы, возражающие против сноса – слепы и бесперспективны».

Вот хроника уничтожения Сухаревой башни по газетным сообщениям тех лет.

19 апреля 1934 года: «Верхние шесть метров Сухаревой башни уже разобраны. Закончена также разборка главной гранитной лестницы, 60-пудовый шпиль башни спущен на землю. Самая ответственная часть работы, таким образом, закончена. Вчера закончена съемка часов с башни».

29 апреля: «Вчера закончился разбор призмы (верхней части) Сухаревой башни. Преступлено к сносу основного здания.»

24 мая: «Разборка Сухаревой башни заканчивается… Общий план работ выполнен более чем на 80 процентов. Нижний этаж будет разобран в течение ближайших 5–6 дней. Все строительные материалы предоставлены гордоротделу для использования при замощении улиц».

12 июня: «В ночь на 11 июня закончились работы по сносу Сухаревой башни. Разобрано свыше 16 тыс. кубометров стройматериалов».