В первой четверти XVIII века Фонтанка служила естественной границей раннего Петербурга, за которой строились загородные дачи и особняки. Один из таких особняков принадлежал графскому роду Шереметевых и до сих пор известен как дворец Шереметевых. О сказочном богатстве графского рода Шереметевых в Петербурге ходили легенды. «Если взять горсть гороха и рассыпать его по карте, то не окажется горошины, которая не попала на имение Шереметева», – говорили о богатстве Шереметевых в России. Шереметевы славились своей благотворительной деятельностью. Рассказывали, что один из предков Шереметевых на вопрос царя Ивана Грозного, где он скрыл свои сокровища, ответил: «Царь, я передал их Богу через руки нищих». Щедрость Шереметевых была так велика, что в Петербурге сложилась пословица: «Жить на шереметевский счет». В поговорку вошел и сам дворец Шереметевых. Когда хотели сказать об огромных домах в большом городе, восклицали: «Целая шереметевская вотчина!». Рассказывали, что однажды к графу Б.П. Шереметеву в его дворец на Фонтанке неожиданно явилась императрица Елизавета Петровна. Ее свита состояла из пятнадцати человек. Но это не повергло хозяев дворца ни в панику, ни в смущение. К обеду, который тут же был предложен императрице, ничего не пришлось добавлять. При Борисе Петровиче Шереметеве содержалась так называемая «Шереметевская капелла». В то время это был один из лучших частных хоров в России.
Но не только щедростью и гостеприимством отличались Шереметевы. Представителей их древнего рода отличали такие качества, как независимость, гордость и благородство. Так, Борис Петрович Шереметев отказался участвовать в суде над царевичем Алексеем, будто бы сказав Петру: «Рожден служить своему государю, а не кровь его судить». Так это или нет, сказать трудно, но известно, что среди 127 подписей под смертным приговором царевичу подписи Шереметева нет.
Сохранилась легенда о том, что после революции один из молодых владельцев Шереметевского дворца, восторженно приветствуя свержение монархии, пришел в Смольный и положил на стол ключи от дворца: «Они ваши!». И в ответ услышал: «Нам подарки не нужны. Мы и так все возьмем».
История дворца Шереметева, или «Фонтанного дома», как его называли в Петербурге, восходит к 1720 году, когда на берегу Фонтанки для фельдмаршала Бориса Петровича Шереметева был построен небольшой деревянный особняк. В 1750-х годах на его месте архитектор С.И. Чевакинский при участии Ф.С. Аргунова возвел каменный двух этажный дворец. Если судить по современному школьному фольклору, «дворец был построен крепостными руками графа Шереметева». Правда, в роду Шереметевых сохранилось предание, что дом был построен не Чевакинским, а Растрелли. Действительно, сравнение чертежей ранних построек архитектора, в том числе Летнего дворца Елизаветы Петровны, с чертежами особняка на Фонтанке будто бы подтверждает это предание, хотя сам зодчий не упоминает Фонтанный дом в перечнях возведенных им зданий.
Шереметевский дворец отделяет от набережной Фонтанки великолепная чугунная ограда, за которой раскинулся уютный сквер, известный в фольклоре как «Графский садик». Как и положено старинному особняку, дворец Шереметева имеет свой призрак. Если верить фольклору, в екатерининские времена во дворце жил молодой камер-юнкер Жихарев, которого будто бы не раз отмечала своей милостью любвеобильная императрица. Когда об этом узнал ее официальный фаворит Платон Зубов, то он будто бы подослал наемного убийцу, который и «настиг юношу» в Белом зале дворца. С тех пор, утверждает городской фольклор, призрак убитого камер-юнкера, «взывая к отмщению, появляется в коридорах Шереметевского дворца.