Летний сад обычно считают ровесником города. Еще в 1704 году по замыслу Петра I был разбит дворцово-парковый ансамбль, названный „Летний дворец царя“. Вскоре он стал называться Летним садом.
В 1717 году царь Петр побывал в Париже, осматривал Версальский парк с большим любопытством. Он сказал тогда:
Хотя идея создания Летнего сада появилась у Петра гораздо раньше, чем он увидел Версаль. В 1704 году, год спустя после того, как была заложена крепость и основан город Санкт-Питербурх, у реки Ерик, начали строить и дворец для царя с Летним садом. Петр сам выбирал место для летнего дворца и первого сада в Петербурге. Облюбовал Петр участок на левом берегу Невы, видимо, потому, что он был давно обжит и почти со всех сторон окружен водой.
В 1704 году Петр дает указание прислать
Но деревья, привезенные с юга, вымерзли. Потому тис заменили можжевельником, пересаживали из леса ели, украшали газоны брусникой.
Сначала Летний сад ограничивался лишь участком, на котором сейчас находится скульптура. Тогда определилась первоначальная его планировка и началось освоение территории. Первый план Летнего сада, как позднее и план Петергофского Нижнего парка, вероятно, набросал сам Петр. В 1704–1705 годах разбивкой так называемого царского огорода и устройством в нем фонтанов занимался русский архитектор И. М. Угрюмов. С 1711 года украшением и расширением территории Летнего сада руководил Ян Розен.
К этому времени это был уже сложившийся регулярный парк с узорными цветниками, фонтанами, водоемами. Началось сооружение каналов, один из каналов делит первый Летний сад на две части. В эти же годы в Летнем саду был устроен Карпиев пруд.
В 1716–1725 годах архитекторы Леблон и Земцов сделали планы Летнего сада в начале и в конце завершающего этапа его строительства. Камер-юнкер Берхгольц писал о Летнем саде того времени:
В Летнем дворце Петр I жил со своей семьей с мая по октябрь в течение 1712–1725 годов. Первый этаж занимали комнаты Петра I, а второй — комнаты императрицы Екатерины и детей.
Этот каменный дом строил Доменико Трезини. Летний дворец очень отличался от московских построек допетровского времени четкостью планировки, простотой архитектурных форм, скромным украшением фасадов.
При всей кажущейся простоте в этом доме есть изысканность. Водостоки по углам его крыши сделаны в виде маленьких дракончиков, флюгер не что иное, как фигурка Георгия Победоносца на коне, с копьем в руках. Над входом во дворец — изображение древнеримской богини войны, мудрости, покровительницы наук и законов Минервы и двух амуров, поддерживающих над ней царскую корону.
Фасады Летнего дворца украшали двадцать девять лепных барельефов. Многие из них прославляли государство Российское, другие играли роль декоративных украшений.
После смерти Петра во дворце жили белошвейки и прачки, обслуживавшие царский двор Позднее его отдавали на лето крупным сановникам. При этом каждый раз его ремонтировали, слегка перестраивали.
В середине XIX века Летний дворец закрылся, и только изредка его демонстрировали высокопоставленным гостям.
С начала XX века в нем устраивали различные выставки. В 1934 году Летний сад и Летний дворец Петра I получили статус архитектурно-художественного и историко-мемориального музейного комплекса.
Летний сад был спланирован во французском стиле „люстгартен“ Система аллей и дорожек делила территорию на прямоугольные участки. В то время сад простирался до самого берега Невы.