Форт-Кромвелю, переименованному в Форт-Чарлз, уделялось особенно большое внимание в 1660-е годы. В ноябре 1662 года около сорока человек были наняты для завершения площадок вокруг башни, и к концу декабря они сделали «площадку в виде полумесяца, повернутую к морю», и установили на ней одно орудие и три полупушки. В начале следующего года военный корабль «Грейтгест» доставил лафеты и снаряжение для пушек в форте. К 1664 году первоначальный план форта – с башней в центре – был, видимо, заменен другим: с полубастионами на востоке и западе и разновидностью реданта на северной стороне. Между 1664 и 1666 годами работы велись по этой обновленной схеме, и к 1667 году они были полностью завершены. Центральная башня с тех пор использовалась лишь как склад, а около 36 пушек были установлены на валах, окружавших ее.
На другой стороне города палисады около 1665 года заменили каменной стеной – с бойницами и центральной башней, вооруженной шестью пушками. Согласно одному отчету, эта башня сначала называлась Лэндвард-форт. Завершение возведения этой линии способствовало тому, что Порт-Ройял был надежно защищен как с востока, так и с запада.
Нетрудно заметить, что первыми жителями Пойнт-Кагуэя были солдаты, моряки и гражданские лица, занятые управлением делами. Пока суда стояли на якоре в гавани, команды отдыхали в городе и готовились к будущим походам. На берег выгружали грузы, привезенные из Англии, с Малых Антильских островов или из североамериканских колоний. Многие военные суда привозили с собой оружие, амуницию и порох, которые тут же забирали на склады. Питьевую воду для кораблей доставляли шлюпками из Рока, расположенного в нескольких сотнях ярдов к западу, – теперь там находится Рокфорт.