В 1712 году Пётр I отдал часть земли под устройство резиденции его жены, императрицы Екатерины. На том месте, где сейчас находится павильон Росси, был построен небольшой деревянный дворец, названный Золотыми хоромами.
При дворце был разбит сад, который простирался между реками Кривушей (нынешним каналом Грибоедова) и Ериком (Фонтанкой) почти до Большой першпективы (Невского проспекта). Сад при Золотых хоромах именовался Царицыным, или садом её величества. Тогда же окончательно за садом закрепилось название Третий Летний сад. Для этого сада из Московской, Псковской и Новгородской губерний привозили соловьёв и других редких птиц. Здесь были в изобилии высажены фруктовые деревья и ягодные кусты.
Южнее дворца были вырыты пять прямоугольных прудов. В них разводили всевозможную рыбу. Восточнее «хором» располагались погреба с винами и другими съестными припасами.
В 1718 году для ухода за садом Пётр I пригласил известного ганноверского садовника Гаспара Фохта. Он работал и в Первом, и Втором, и Третьем Летних садах. Кроме того, он обслуживал Аптекарский огород.
24 июня 1741 года во Втором Летнем саду, на месте, где сейчас находится Михайловский замок, начали строить Летний дворец. В 1745 году во дворце поселилась императрица Елизавета Петровна. Здесь, кстати, родился будущий император Павел I Петрович.
При Елизавете Петровне территория современного Михайловского сада была перепланирована. Сад получил регулярную планировку. Деревья подстригли в формы геометрических фигур, на аллеях расставили скульптуры, вырыли фигурные пруды, устроили цветники, клумбы и павильоны. На берегу Мойки построили императорскую баню. В центре сада находились качели, карусели, горки для катания.
В 1768 году Золотые хоромы Екатерины I по повелению Екатерины II разобрали.
В 1817 году начались масштабные работы по созданию ансамбля Михайловской площади и строительство Михайловского дворца. В план архитектора Карла Ивановича Росси входила перепланировка всей окружающей его территории. В том числе и бывшего Третьего Летнего сада. Благоустройством сада в 1822–1825 годах занимались известные архитекторы, художники, садовники. При сохранении элементов регулярной планировки саду был придан пейзажный характер. У северного фасада дворца был устроен английский луг. А прямоугольные пруды засыпали. На месте Золотых хором Карлом Ивановичем Росси был спроектирован павильон-пристань. Сейчас это павильон Росси.
Переделанный и перепланированный сад по построенному к 1825 году дворцу получил новое имя – Михайловский.
К 1830 году вдоль Михайловского сада была продлена Садовая ограда. Сад отгородили от улицы художественной оградой.
Хозяйкой сада, как и дворца, стала жена великого князя Михаила Павловича великая княгиня Елена Павловна. Великокняжеская чета устраивала здесь конные прогулки, отмечала памятные даты и праздники. Михайловский сад среди горожан получил неофициальное название – сад Елены Павловны.
Одно из самых запоминающихся событий в истории сада произошло в теплый летний день 1839 года. В Михайловском дворце был устроен бал в честь бракосочетания великой княжны Марии Николаевны (дочери Николая I) и герцога Лейхтенбергского. И Михайловский сад превратился поистине в райский сад. Газеты писали: «К балу были свезены все цветы из Павловской и Ораниенбаумской оранжерей на 200 возах и 5 барках, которые вёл особый пароход…. Всё в саду и во дворце цвело и благоухало, а такого обилия редких и многоцветных растений не случалось видеть… Из сада сияла фантастическая иллюминация с чудесным видом на Марсово поле и Неву…»
1 марта 1881 года на набережной Екатерининского канала, напротив Михайловского сада, участники террористической организации «Народная воля» смертельно ранили императора Александра II. В этот же день государь скончался. В память об этом событии здесь в 1883–1907 годах был построен собор Воскресения Христова, более известный как Спас-на-Крови.
Между Михайловским садом и собором появилась художественная ограда стиля модерн по проекту архитектора Альфреда Александровича Парланда. Полукруглая ограда была исполнена в 1903–1907 годах на предприятии К. Винклера. Она наряду с оградой Летнего сада считается одной из самых красивых в Санкт-Петербурге. После того как ограда заняла своё место, городовым, следившим за порядком на улицах, было вменено в обязанность присматривать, чтобы праздношатающаяся публика не повредила кованое кружево. А смотрители сада должны были вовремя подливать смазочное масло во втулки ажурных ворот с императорским вензелем, открывавшихся на площадь с центральной аллеи Михайловского сада.
После передачи Михайловского дворца для нужд Музея императора Александра III (Русского музея) в 1898 году сад стал общедоступным. Правда, при входе на воротах повесили табличку: «Собакам и солдатам гулять воспрещается».
В 1900 году территория Михайловского сада сократилась из-за постройки здания Этнографического музея.
После революции Михайловский сад пришёл в запустение.