Мрачные застенки Петропавловской крепости на протяжении всего своего существования рождали легенды о судьбах несчастных обитателей этих казематов. Согласно одной из них, «в Алексеевском равелине был заключён, умер и похоронен царевич Алексей Петрович, вследствие чего равелин этот и получил будто бы своё название. Однако это не так. Алексеевского равелина в то время не существовало, а царевич был заключен и умер в Трубецком раскате, по соседству с которым был позже выстроен Алексеевский равелин. Кроме Алексеевского, в Петропавловской крепости был ещё другой равелин – св. Иоанна, в честь царя Ивана Алексеевича, заложенный каменным зданием в 1731 году Надо полагать, что названия двух равелинов: Алексеевский и Иоанновский – наводят на мысль о судьбе не только царевича, но и несчастного императора. Похоже, это обстоятельство и дало основание для предания о том, что и царевич Алексей, и царь Иоанн Антонович похоронены в Алексеевском равелине. Внутри равелина расположен маленький треугольный садик, овеянный загадочными легендами. По местному преданию здесь находится могила княжны Таракановой».
Строительство Петропавловской крепости ещё продолжалось, когда осенью 1704 года на противоположном берегу Невы, как мы уже знаем, была заложена Адмиралтейская судостроительная верфь, положившая начало освоению новых территорий. Нехотя, под страхом «лишения живота», переселялись на Адмиралтейский остров чиновники и офицеры, занятые на строительстве флота. Кроме принудительных мер, на которые Пётр был скор и изобретателен, ему приходилось идти на всякие ухищрения, в том числе и на демонстрацию своей личной заинтересованности в освоении левобережья Невы. Пыляев записывает старинное предание о том, что Летний дворец в одноименном саду был построен Петром с единственной целью «возбудить в первоначальных обывателях Петербурга охоту строиться на Адмиралтейской стороне, потому что до того времени все строились в заречных частях города».
Летний дворец представляет собой двухэтажное каменное здание с высокой, «на голландский манир», крышей. Дворец строился по проекту Доменико Трезини при последующем участии архитектора А. Шлютера. Внутренняя планировка Летнего дворца отличалась сравнительной скромностью. Комнаты были небольшие, с невысокими потолками. Известно, что Пётр не любил высоких палат и предпочитал жить в тесных уютных покоях. Как утверждает молва, в тех случаях, когда ему приходилось останавливаться в просторных помещениях, он приказывал с помощью парусины занижать потолки и перегораживать комнаты легкими выгородками.
Одна из комнат на первом этаже служила Петру приёмной, куда мог прийти любой человек всякого звания. Здесь Пётр обычно выслушивал просьбы и жалобы. Рядом с приёмной находился карцер, куда Петр, как говорят, собственноручно запирал провинившихся. В гардеробной дворца стоял большой деревянный шкаф, который, по преданию, император смастерил сам. Впрочем, в фольклоре сохранилось много рассказов о предметах быта, изготовленных царём лично. Согласно одному старинному преданию, Пётр смастерил большое трюмо в резной деревянной раме, которое сохранилось в тронном зале Летнего дворца. На раме вырезаны имя «Peter», русская буква «П» и год окончания работы. По другой легенде, Пётр собственными руками построил лодку-верейку, которая, кстати, до сих пор бережно хранится внутри футляра его Домика.
До середины XVIII века на половинках двери, ведущей в токарню, можно было увидеть изображение солдата с ружьём, написанное масляными красками. Сохранилось предание о том, как появилась эта картина. Однажды Петр, встав за токарный станок, велел часовому никого к нему не пускать. Явившийся в это время во дворец Меншиков оттолкнул часового. Верный страж, выхватив штык и приставив его к груди светлейшего, закричал: «Отойди, не то приколю на месте!». Пётр услыхал шум и отворил дверь. Меншиков стал жаловаться ему на часового. Но Петр, выслушав солдата, вручил ему червонец за верную службу, а Меншикову сказал: «Он, брат Данилыч, более знает свою должность, нежели ты». Этого часового будто бы и запечатлел придворный живописец на створках двери в царскую токарню.
За окнами Летнего дворца зеленел молодыми посадками любимый Петром Летний сад, разбитый в 1704 году на месте старинной, ещё допетербургской, усадьбы шведского майора Конау. В 1719 году по личному проекту Петра в саду был выкопан так называемый Менажерейный пруд с беседкой в центре. Если верить легендам, именно сюда ревнивый Пётр однажды незаметно подплыл на лодке и «застукал свою невесту в объятиях с любовником». С тех пор пруд называли «Прудом измены».
Увлекшись просветительскими идеями Готфрида Лейбница, Пётр хотел, чтобы Летний сад, как и Кунсткамера, служил просвещению. Штелин, приехавший в Петербург в 1735 году, записал любопытное предание: