Ученым удалось спасти лишь некоторые фрагменты знаменитой некогда башни, которые увезли в Коломенское. Говорили, что Сталин лично контролировал разборку, приезжая по ночам, и даже какие-то книги якобы были обнаружены и вывезены с места сноса. Однако Черная книга так и осталась не найденной. Рассказывали также, что вроде бы перед началом сноса из башни вышел старик, сам Брюс, и, пока его машина НКВД не увезла, башню разбить не могли. А незадолго до этого, в 1929 году, при строительстве аэродинамической лаборатории ЦАГИ в Москве на месте бывшей немецкой слободы из склепа были извлечены останки и части сохранившейся одежды Брюса: шитый золотом парчовый кафтан, камзол и полуистлевший ботфорт. На камзоле была нашита звезда к ордену Андрея Первозванного. Останки передали в реставрационную мастерскую М. М. Герасимова, но, по преданию, они бесследно исчезли. Сохранились лишь отреставрированные кафтан и камзол Брюса в фондах Государственного исторического музея. Зато появились слухи о привидении Брюса, будто бы посещавшем свой дом в Глинках и Сухареву башню. Заговорили и о загадочном, на взгляд его современников, предсказании Якова Брюса, что «…на моих костях потомки российские будут учиться летать…».

После того как Сухареву башню снесли, «вспомнили», как Брюс предсказывал, что Сухарева башня после его смерти будет разрушена. Якобы предсказывал он и насильственную смерть Павла I и очень точно предрек дату пожара в своей усадьбе Глинки, которую к тому времени унаследовало семейство Мусиных-Пушкиных. Вспомнили Брюса и в 1812 году, когда за день до вступления наполеоновских войск в Москву ястреб с путами на лапах запутался в крыльях двуглавого медного орла, венчающего Сухареву башню, долго бился, затем издох на глазах у собравшегося народа. Победа над Наполеоном прочно связывалась москвичами с этим случаем.

Помимо легенд и историй, похожих на сказки, в наследство потомкам от энциклопедиста и коллекционера Брюса остались уникальная библиотека, картинная галерея, коллекции (нумизматическая, минералов, этнографическая) и чуть ли не единственный в России кабинет разных «куриозных вещей», завещанных перед смертью в кунсткамеру Академии наук Санкт-Петербурга. В описи кабинета значились: «зеркало кругловитое небольшое, в котором кажет большое лицо»; «раковин разных больших и малых 99»; «туфли китайские плетеные из травы», «гриб каменный»; «тыква индейская»; «кость мамонтовой головы»; «янтари, в которых есть мушки»; коробочка с «маленькой натуральной змейкой» и многие другие диковины. Кроме того, карты числом около 735, рукописи, инструменты.

Брюсу приписывают создание зодиакальной радиально-кольцевой планировки Москвы: 12 лучей от Кремля, предложенной им и реализованной после очередного разрушительного пожара. С его именем связывают карту святых и гиблых мест Москвы, где среди гиблых мест указываются: участок, на котором стоит знаменитый Дом на набережной, улица Спиридоновка (как не вспомнить трагические судьбы предпринимателей Морозовых и Рябушинских) и Останкино.

В декабре 1925 года члены комиссии «Старая Москва»: археолог, всю жизнь посвятивший поискам библиотеки Ивана Грозного И. Я. Стеллецкий, архитектор Н. Д. Виноградов и краевед О. И. Пенчко – обследовали подземелья Сухаревой башни и обнаружили пять замурованных подземных ходов, предположительно ведущих к дому Брюса на 1-й Мещанской. Но исследования не были продолжены. Это породило легенды, что Черная книга Брюса вместе с его колдовской библиотекой (среди чародейных книг и предметов, спрятанных в башне, стали называться «Русское кудесничество», «Книга Сивилл», «Черная магия», волшебное зеркало, Соломонова печать…) может находиться именно там. Это подстегнуло интерес ученых и черных археологов, особенно активизировавшихся в 90-е годы прошлого века. Тем более что еще никто не опроверг слухов о возможности нахождения в прорытом еще при Иване Грозном ходе от Сретенских ворот к Кремлю знаменитой и таинственной библиотеки Ивана Грозного. Однако поиски обеих библиотек никакого результата не дали, хотя так называемые погибшие клады – сундуки с дорогими одеждами и мехами – находили.