С 1798 по 1831 год дворцом вновь владел повзрослевший великий князь Константин Павлович, делавший уже не очень успешную военную карьеру, продолжавший «проказничать» и преподносить своим поведением довольно печальные и неблаговидные сюрпризы своему брату – императору Александру I. Дело дошло до того, что российский монарх вынужден был даже разрешить начать расследование уголовного дела, в котором, по слухам, был замешен Константин Павлович.
В 1832 году Николай I передает творение Ринальди в наследственное владение своему второму сыну, великому князю Константину Николаевичу. Мраморный дворец по решению нового хозяина архитектор А.П. Брюллов внутри перестроил – создал новые интерьеры в историко-романтическом духе. Перекрытие Мраморного зала приподняли на один этаж, его освещение теперь стало двух уровневым. Рядом с этим залом в северной части обустроили парадную столовую.
Кабинет великого князя Константина Николаевича соседствовал теперь с дворцовой библиотекой, из которой имелся выход в Зимний сад, переделанный зодчим Брюлловым из висячего фруктового сада архитектора А. Ринальди.
Сад теперь соседствовал с прекрасным концертным залом, в котором проходили выступления знаменитых российских музыкантов и композиторов.
В дополнение к дворцовым греческой и турецкой баням Брюллов устроил во дворце роскошную великокняжескую ванную комнату античного стиля.
Помещение, в котором располагался арсенал великого князя Константина Павловича, Брюллов переделал в уютный зал в готическом стиле для танцев и музыкальных вечеров. В нем установили прекрасный концертный орган, изготовленный знаменитым немецким мастером-органистом Г. Метцелем.
В ходе перестроечных работ некоторые плафоны, барельефы и элементы художественно-декоративного оформления дворцовых помещений частично изменили места, предназначенные для них во времена придворного зодчего А. Ринальди.
Восстановительные и реконструкционные работы в Мраморном дворце завершились Брюлловым в 1849 году. Великий князь Константин Николаевич и его супруга Александра Иосифовна переехали в него на постоянное жительство. С этого периода Мраморный дворец стал официально именоваться «Константиновским».
Об этой оригинальной великокняжеской паре сохранились воспоминания фрейлины императрицы А.Ф. Тютчевой. О Константине Николаевиче она, в частности, писала: «В обществе слывет свирепым славянофилом, говорящим только по-русски и намеренно пренебрегающим всеми формами европейской цивилизации». Характеристика же его супруги прозвучала в ее мемуарах мягче: «Она очень красива и напоминает портреты Марии Стюарт. Портит ее голос, гортанный и хриплый, кроме того, она плохо говорит по-французски, манеры ее недостаточно изысканны для того положения, которое она занимает».
После первых лет влюбленности в свою молодую супругу Константин Николаевич охладел к ней и завел себе любовницу – балерину Анну Васильевну Кузнецову, родившую великому князю четверых детей. Российский император пожаловал всем им отчество «Константиновичи», фамилию – «Князевы» и возвел в личное дворянство.
Веселый и остроумный великий князь любил в кругу близких друзей шутить на сей счет: «Здесь (во дворце) у меня законная жена, а в Петербурге – казенная».
Генерал-адмирал Константин Николаевич, ставший в 1853 году шефом российского флота, много сделал для его строительства и могущества. Это он стал автором нового Морского устава и отменил на флоте телесные наказания матросов. Знаменитые форменные тельняшки русских моряков – его личное нововведение в форменную одежду рядового состава российского флота.
Аргументированно и настойчиво великий князь добивался замены парусных военных кораблей паровыми. В течение 16 лет он возглавлял Государственный совет, командовал лейб-гвардии Финляндским полком, работал председателем Комитета по крестьянскому вопросу и принимал самое активное участие в подготовке исторического акта об отмене крепостного права в империи.
Проходили годы, законная семья великого князя увеличилась. Великая княгиня Александра Иосифовна подарила супругу шестерых детей: дочерей – Ольгу, Веру и сыновей – Николая, Дмитрия, Вячеслава и Константина. Приходилось специально перестраивать Константиновский дворец, обустраивать детские комнаты и столовые. Великий князь, любивший технику, следил за промышленными новинками и не упускал возможности их внедрения в свое дворцовое хозяйство.