В разные годы здесь жили многие известные люди. Среди них дочь актера императорских театров Я.Г. Брянского – Е.Я. Брянская (сестра А.Я. Панаевой). Здесь проводили лето семейство издателя А.А. Краевского, актер Александринского театра Н.Ф. Сазонов и его супруга писательница С.И. Смирнова, генерал-майор М.С. Лалаев, известная артистка и ученица Полины Виардо А.В. Панаева-Карцева, игравшая также на сцене Павловского театра. Панаевой-Карцевой посвятили свои произведения поэт А.Н. Апухтин, композитор П.И. Чайковский, художник К.Е. Маковский. Также здесь жил пианист, дирижер и музыкальный критик Г.А. Лишин. На даче выросли четыре сына А.А. Панаева, принимавшие участие в Первой мировой войне и награжденные Георгиевскими крестами. Их мать, Вера Николаевна, в апреле 1916 г. единственная в годы Первой мировой войны была награждена знаком Святой Ольги, этот знак учрежден императором для отличия матерей героев, оказавших подвиги, достойные увековечения в летописях Отечества. От дачи Панаевых сохранился лишь сад, все исторические постройки утрачены.
С другой стороны дачи Варгаса де Бедемара находилась
Главный дом Ушаковской дачи возвели в 1859–1860 гг. по проекту академика архитектуры А.В. Петцольда, построившего и другие усадебные здания. Деревянный, двухэтажный, на каменном подвале и с каменной башней высотой в семнадцать сажен, дом стал одной из достопримечательностей Павловска, соперничая с дачей А.П. Брюллова. Смежно с домом соорудили зимний сад, также на каменном фундаменте и восемнадцати чугунных столбах. С помощью галереи дом сообщался с жилым двухэтажным флигелем, завершенным мезонином. Здесь же находились несколько жилых флигелей, баня, конюшни, ферма со скотным двором, каретные сараи, кладовые, прачечная, оранжереи с теплицами.
Дачные постройки окружал парк с двумя вновь выкопанными прудами, который создавался Ушаковым на месте исторического района Павловского парка, где преобладали «хорошие строевые сосны», а также березы, ели. Кроме того, в питомнике на даче выращивались молодые деревья и кустарники: тополя, лиственницы, карнус, кротегус. Огород с грядами клубники и земляники, грядами под «огородную овощь», кустами черной и красной смородины имел явный коммерческий характер. Для сообщения между домами, а также для прогулок по парку проложили ездовые и пешеходные дороги, шоссированные щебнем и гравием.
Ушаковская дача была смежна с дачами графа Варгаса де Бедемара и госпожи Погорской, по границе между ними проходил частокол. Вдоль Садовой улицы, Гуммаласаровской дороги, Кошелевского выгона и Софийского водопровода дачу окружал земляной вал, покрытый дерном. Поверх вала стоял легкий деревянный шпалерник, обсаженный кротегусом.
Впоследствии дача стала называться Собственной Ушаковской, поскольку ее купил великий князь Константин Николаевич осенью 1868 г. у камер-юнкера князя Б.А. Черкасского, а тот приобрел ее в том же году у генерал-майора П.П. Ушакова. Архитектор И.Я. Потолов и садовник Ф.К. Катцер выполняли по указанию великого князя ремонтные работы, дополнительно приспособив некоторые хозяйственные постройки для жилья. После этого они сдавались внаем разным лицам на лето. Оранжереи и парники с огородом в 1870 г. находились в аренде у мещанина Ф. Яковлева.
В 1889 г. Собственную Ушаковскую дачу продали Д.С. Полякову, сыну известного подрядчика по строительству железных дорог С.С. Полякова, учредителя, концессионера и владельца ряда железных дорог, в том числе и Царскосельской железной дороги. С.С. Поляков являлся крупным государственным и общественным деятелем (1836–1888) и прославился также как щедрый пожертвователь на благотворительность. Младший Поляков, унаследовавший миллионное состояние, жил большей частью в Париже, изредка приезжая в Петербург. Его павловская усадьба сдавалась внаем чиновникам и членам правлений железных дорог. По воспоминаниям современника, бывавшего в доме Полякова, записанных Б.В. Янушем, «тут была и огромная башня, и двусветный зал в стиле ампир, и бревенчатые стены в древнерусском стиле, зимний сад и техническая новинка – калориферное отопление. В зале стоял огромный рояль, изготовленный фирмой „Беккер” по прихоти хозяина. Висела больших размеров картина, написанная К.Е. Маковским, на которой изображены Поляков с женой, распивающие по-купечески чай из блюдечка». Упоминались также большая, ценная библиотека и скульптурные изображения членов семьи.
Устройство более удобного железнодорожного сообщения с Павловском и нового вокзала со станцией