В конце XVIII века дворец принадлежал графу Николаю Петровичу Шереметеву, с чьим именем тесно переплелась судьба актрисы Прасковьи Ивановны Жемчуговой.
Настоящая фамилия Прасковьи Ивановны – Ковалева. Фамилия образована от профессии кузнеца, или коваля, кем был ее отец Иван Степанович. Жемчугова – театральный псевдоним. В то время было модным давать актерам сценические имена, образованные от названий драгоценных камней. В истории русского театра известны фамилии Гранатовой, Хрусталева, Сердоликова. Под своей новой фамилией Прасковья Ивановна вошла не только в историю отечественного театра, но и в родовую биографию графов Шереметевых.
С 1779 по 1798 год она выступала в подмосковном крепостном театре Шереметевых в Кускове. Кроме актерского мастерства, Жемчугова обладала прекрасным сопрано. Была хорошо образованна, знала французский и итальянский языки.
В середине 1790-х годов в жизни Параши Жемчуговой произошли неожиданные перемены. В нее страстно влюбился владелец усадьбы граф Николай Петрович Шереметев. В 1796 году, после воцарения Павла I, Шереметев переехал в Петербург. Вместе с ним в столицу прибыла Параша Жемчугова. Попытки узаконить совместное проживание успехом не увенчались. Император Павел I отказал Шереметеву в праве обвенчаться с его бывшей крепостной. Обвенчались тайно, в Москве, в церкви Симеона Столпника на Поварской. Только с воцарением Александра I разрешение на брак было получено. Но и тут не обошлось без фольклора. Правда, официального. Была придумана легенда, согласно которой происхождение Параши Ковалевой велось не от деревенского кузнеца, а от некоего польского шляхтича по фамилии Ковалевский, который в XVII веке попал в русский плен и стал крепостным. Наконец начали готовиться к свадьбе. Перестраивали петербургский дворец на Фонтанке, пристраивали так называемый «Свадебный флигель». Но случилось несчастье. Вскоре после рождения сына Дмитрия Прасковья Ивановна умерла от быстротечной чахотки, приобретенной в гнилом петербургском климате.
Если верить фольклору, смерть Параши Жемчуговой была предсказана некой гадалкой, которая однажды перед выступлением актрисы подошла к ней с мрачным предупреждением. В этом спектакле Жемчугова должна была сыграть героиню, которая в конце представления умирает. Похожую судьбу со смертью в конце сюжета она уже дважды играла в других спектаклях. Гадалка предупредила: «Только два раза можно играть покойницу. На третий сама умрешь. Такой зарок дан актеркам». Прасковья не послушалась и сыграла свою последнюю роль. На сцене. И в жизни.
Граф был в отчаянье, и жить в Петербурге уже не смог. Вернулся в Москву. Основал богадельню «на сто человек обоего пола и бесплатную больницу» при ней на пятьдесят коек – знаменитый Странноприимный дом, будто бы в память о Жемчуговой. Окончательный архитектурный вид больничному комплексу придал петербургский архитектор Джакомо Кваренги. Ныне это известная больница имени Н.В. Склифосовского, или «Склиф», как называют ее в Москве и далеко за ее пределами. Согласно московским легендам, в сонме небесных сил на фресках Троицкой церкви при больнице есть один ангел, танцующий с бубном, которому автор росписей Доменико Скотти будто бы придал портретные черты Прасковьи Жемчуговой.
В Петербурге, в саду «Фонтанного дома», рядом с деревьями, будто бы посаженными Прасковьей Ивановной, Шереметев установил памятник своей любимой – мраморный жертвенник с двумя накладными бронзовыми досками с гравированными текстами на французском языке. С одной стороны: «На сем месте семейно провождали время в тишине и спокойствии. Здесь с правой стороны клен, а с левой – две вербы с привешенными значками посажены графиней Прасковьей Ивановной Шереметевой. 1800 год». С другой: «Я полагаю увидеть ее ожидающую тень, блуждающую вокруг этого места. Я приближаюсь! Но тотчас же этот дорогой образ меня оставляет с моей скорбью, убегая безвозвратно…». Некоторое время после революции этот памятник упоминался в путеводителях, как одна из петербургских достопримечательностей. Затем и упоминания, и сам памятник исчезли. Сохранился только постамент, на котором, если верить городскому фольклору, какое-то время стоял скучный гипсовый бюст не то Ленина, не то Сталина.
Прасковье Жемчуговой фольклор традиционно приписывает авторство песни «Вечор поздно из лесочку Я коров домой гнала…», сюжет которой автобиографичен и в романтизированной форме повествует о первой встрече героини с будущим мужем, графом Николаем Петровичем. Энциклопедический словарь Брокгауза и Ефрона даже называет Прасковью Ивановну «первой русской поэтессой из крестьянства». До сих пор песня входит в репертуар популярных исполнителей как народная.
Прах крепостной актрисы Параши Жемчуговой под фамилией жены графа Н.П. Шереметева Прасковьи Ивановны Шереметевой покоится в Лазаревской усыпальнице Александро-Невской лавры. Мраморный саркофаг над ее могилой выполнен мастером К. Дрейером.