Легенды, сложенные о Брюсе народной молвой, поражали воображение современников. Наиболее распространенная из них повествовала о том, как Брюс сконструировал для себя механическую куклу-служанку, придав ей облик девушки необычайной красоты. Она умела делать всю работу по дому: убирала комнаты, готовила еду, подавала кофе. Единственное, чего не смог добиться Брюс, – научить ее разговаривать.
Продолжение этой легенды не менее замечательно. Любви прекрасной девушки старались добиться многие молодые аристократы. Брюсу, который безуспешно пытался убедить их, что это не человек, а кукла, они не верили. Отчаявшись что-либо объяснить, граф вытаскивал из прически служанки какую-то шпильку, и девушка рассыпалась на глазах у всех, превращаясь в охапку живых цветов. Женихи тотчас исчезали, а Брюс вздыхал и принимался снова собирать по частям свою замечательную служанку.
Брюсу приписывалось еще немало необычных поступков и таинственных историй. Говорили, что по ночам у него в башне собиралась всякая нечистая сила: черти и привидения. В ночь полнолуния на крыше Сухаревой башни появлялся настоящий дракон, и Брюс облетал на нем спящий город. По другой версии, свои ночные полеты Брюс осуществлял на огромной стальной птице.
Яков Брюс умер в апреле 1735 года. К тому времени Навигацкую школу уже перевели в Санкт-Петербург, а в Сухаревой башне разместились адмиралтейские конторы и судейские палаты. Однако имя таинственного графа по-прежнему было неразрывно связано с этим местом. Ходили по Москве даже слухи, что Брюс изобрел эликсир для оживления и отдал царю (царице) пузырек с этой жидкостью – на всякий случай. Вот он умер, и больше некому стало дать мудрый совет самодержцу. И тогда царь (царица) вскрывает гробницу Брюса. Труп чернокнижника совершенно не разложился; полив его заветным эликсиром, государь (государыня) получает нужный совет от ожившего графа. Даже в XIX веке был популярен рассказ, где Яков Брюс по-прежнему укрывается в тайном месте в Москве и продолжает раскладывать пасьянсы судьбы, определяя, кому как жить, на ком жениться и куда ехать.
В начале XIX века рядом с башней возник знаменитый Сухаревский рынок. Это произошло сразу после войны 1812 года, когда в Москву вернулись бросившие свои дома жители. Горожане, кто как мог, пытались разыскать имущество, разграбленное за время их отсутствия. Чтобы избежать волнений среди населения, генерал-губернатор граф Федор Ростопчин издал указ, согласно которому «любая вещь, откуда бы она взята ни была, является неотъемлемой собственностью того, кто в данный момент ею владеет, и что всякий владелец может их продавать, но только один раз в неделю, в воскресенье, в одном месте, а именно на площади против Сухаревой башни». Уже в первое воскресенье после указа площадь была запружена горами награбленного имущества.
С течением времени Сухаревка превратилась в большой блошиный рынок – злачное место, столь любимое знаменитым московским бытописателем Владимиром Гиляровским и другими искателями острых ощущений. Примечательно, что среди местного преступного сообщества существовал странный обычай. Одиннадцатого апреля – этот день считался днем рождения Брюса – действовало неписаное правило: «Ворованное барахло не толкать, щипачам по чужим карманам не рыскать, торговцам не голосить и покупателей не обирать, иначе Брюс накажет – обездвижит руки и язык». И говорили шепотом на «малинах», что действительно видели немногих ослушников – те стали инвалидами и могли лишь побираться…
Сухарева башня до наших дней не сохранилась. Ее снесли в апреле 1934 года, якобы для устранения помех движению транспорта. Чем руководствовались власти на самом деле – неизвестно, но многие архитекторы, в том числе знаменитый Алексей Щусев, были против и даже лично просили Сталина не трогать легендарное строение. История сноса башни обросла новой легендой. Когда стали рушить Сухареву башню, вышел из нее старик с черной бородой и стал наблюдать за работами. По башне бьют, а она не поддается. Поняли, что все дело в старике. Приехала машина, старика забрали и увезли. Только после этого и смогли башню свалить. Кто же был этот старик? Говорили, колдун…
Скорее всего, реальная основа легенды такова: некоторое время перед сносом возле башни дежурили архитекторы и студенты, надеясь остановить разрушение. Но, как гласит предание, Сталин лично контролировал разборку здания, во время которой рабочим было велено искать тайники и клады. И действительно, в стенах башни удалось обнаружить немало спрятанных там старинных книг. Но самой главной – Черной книги колдуна Брюса – так и не нашли.