Вот что пишет о своем визите в Балморал в 1849 году Чарльз Гревилль, оставивший обширные мемуары о временах королевы Виктории: «Из Перта в Балморал ведет чудесная дорога. <…> Насколько я не люблю придворную жизнь и все, что с ней связано, я рад, что совершил эту поездку и повидал королеву и принца в их горном уединении, которое, со всей очевидностью, идет им на пользу. Это чудесное место, здание совсем небольшое. Они живут там безо всякой пышности, просто как дворяне, причем небогатые дворяне – небольшой дом, маленькие комнаты, скромное хозяйство. Там нет солдат, и вся охрана суверена и королевской семьи состоит из одного-единственного полицейского, которых ходит кругом, охраняя дом от непрошеных визитеров. Весь «двор» состоит из леди Дуро и мисс Доусон, фрейлин; Джорджа Энсона и Гордона; Бирча, наставника принца Уэльского, и мисс Хильдиард, гувернантки. Живут они очень просто и скромно. Принц каждое утро отправляется на охоту, возвращается к обеду, а затем они отправляются на пешую или верховую прогулку. Королева целый день то в доме, то отправляется куда-нибудь, причем зачастую в одиночестве, навещает деревенские коттеджи, где беседует со старушками. <…>
Вечером мы отправились в комнату, расположенную за столовой – она служит и бильярдной, и библиотекой (хотя книг почти нет), и кабинетом. Королева, принц, ее дамы и Гордон вернулись в столовую, где учитель танцев учил их танцевать рил. Нам (Джону Расселу и мне) не позволили присутствовать на занятии, такчто мы играли в бильярд. Затем все они вернулись, мы немного поговорили, и отправились спать. Так прошел мой визит в Балморал».
Королевская семья увеличивалась с каждым годом, к тому же нужно было принимать гостей, так что вскоре стало ясно, что места не хватает. В газетах писали: «Принято решение построить для королевы новый дворец в Балморале. Его возведут между рекой и старым замком, фасад будет обращен к югу. Приблизительная стоимость работ от восьмидесяти до ста тысяч фунтов. Архитектура будет современной, а красота будет сочетаться с удобством. Через реку Ди выстроят новый мост. Дорога, которая сейчас пролегает через Баллохбин, будет закрыта, и новую хорошую дорогу проложат по правому берегу реки. Старый замок снесут полностью. Участок для нового уже размечен».
В 1852 году королева наконец стала настоящей хозяйкой Балморала – принц выкупил поместье за тридцать тысяч фунтов. В честь этого события на близлежащем холме сложили довольно высокую, почти два с половиной метра, пирамиду из камней. «Наконец, когда пирамида, высотой, как мне кажется, семь или восемь футов, была почти завершена, Альберт вскарабкался на вершину и положил последний камень, после чего трижды прозвучали приветственные возгласы. Это было веселое, чудесное и трогательное зрелище, и я почувствовала, что вот-вот расплачусь».
В 1853 году началось строительство нового здания, и 28 сентября первый камень в основание заложила сама королева, с помощью серебряного мастерка. А под камнем покоится бутылка – в ней лежит пергамент, на котором королева написала дату закладки, и несколько тогдашних монет. В честь этого события был даже дан бал – не столько для гостей, сколько для тех, кому предстояло строить замок.