На крайнем углу мыса, со стороны моря, имеется круглая башня, построенная из извести и камня, в которой установлены 15 пушек, включая полные пушки, полупушки и полукулеврины из бронзы. Возле этой башни находится здание прочного и правильного форта… способного вместить до 60 орудий. Но он возведен лишь в виде площадки и только со стороны моря, хотя обошелся в 2000 ф. ст. Примерно в миле отсюда в направлении земли намечено строительство форта и оборонительной линии, тянущейся от гавани до моря, чтобы защищать город от любого покушения со стороны суши…».
Форт-Кромвелю, переименованному в Форт-Чарлз, уделялось особенно большое внимание в 1660-е годы. В ноябре 1662 года около сорока человек были наняты для завершения площадок вокруг башни, и к концу декабря они сделали «площадку в виде полумесяца, повернутую к морю», и установили на ней одно орудие и три полупушки. В начале следующего года военный корабль «Грейтгест» доставил лафеты и снаряжение для пушек в форте. К 1664 году первоначальный план форта – с башней в центре – был, видимо, заменен другим: с полубастионами на востоке и западе и разновидностью реданта на северной стороне. Между 1664 и 1666 годами работы велись по этой обновленной схеме, и к 1667 году они были полностью завершены. Центральная башня с тех пор использовалась лишь как склад, а около 36 пушек были установлены на валах, окружавших ее.
На другой стороне города палисады около 1665 года заменили каменной стеной – с бойницами и центральной башней, вооруженной шестью пушками. Согласно одному отчету, эта башня сначала называлась Лэндвард-форт. Завершение возведения этой линии способствовало тому, что Порт-Ройял был надежно защищен как с востока, так и с запада.
Нетрудно заметить, что первыми жителями Пойнт-Кагуэя были солдаты, моряки и гражданские лица, занятые управлением делами. Пока суда стояли на якоре в гавани, команды отдыхали в городе и готовились к будущим походам. На берег выгружали грузы, привезенные из Англии, с Малых Антильских островов или из североамериканских колоний. Многие военные суда привозили с собой оружие, амуницию и порох, которые тут же забирали на склады. Питьевую воду для кораблей доставляли шлюпками из Рока, расположенного в нескольких сотнях ярдов к западу, – теперь там находится Рокфорт.
Выше уже отмечалось, что флибустьеры стали активно использовать Порт-Кагуэй в качестве своей базы с 1657 года, когда им были выданы первые каперские свидетельства против испанцев. Генерал-майор Уильям Брейн в письме, отправленном из Кагуэя в апреле 1657 года, упоминает о голландском флибустьере Герритсзооне, у которого он купил по дешевке (всего за 40 ф. ст.) приз водоизмещением 60 т. Желая отблагодарить голландца за такую щедрость, Брейн позволил ему «транспортировать 20 тонн кубинского табака» в Англию. Табак, безусловно, был захвачен у испанцев. Герритсзоон доставил его в метрополию на судне «Саксес» (командир – Захарий Браун), но на таможне весь груз был тут же конфискован.
Когда Кристофер Мингс в 1658–1659 годах совершил ряд успешных рейдов на Испанский Мейн, слава Пойнт-Кагуэя как «пиратского гнезда» распространилась по всему Карибскому региону. 6 июня 1659 года бывший вице-губернатор Ямайки дон Франсиско де Лейва Исасси представил отчет члену Совета Индий лиценциату дону Фернандо де Гевара Альтамирано. В этом отчете он, в частности, отметил, что в порту Кагуайя «обычно находятся семь или восемь фрегатов с пятнадцатью, тридцатью и сорока пушками, с солдатами и офицерами, с которыми они ходят вдоль побережья этого острова и возле Кубы, грабя все, что повстречают; они способны достигать любой точки на всем побережье материка. Кроме того, многие корабли французских и английских пиратов входят и выходят из названного порта, доставляя товары и увозя продукты этого острова. Как хозяева этих морей, они бросают якорь, берут воду и запасаются говядиной и дровами в любых незащищенных [испанских] портах…».
Имея превосходную естественную гавань, способную вместить до 500 судов, Кагуэй постепенно превратился в один из богатейших портов Нового Света. В 1661 году в городе насчитывалось почти полтысячи домов, предназначенных в основном для «приватиров [флибустьеров], которые были их лучшими покупателями». Многие жители Ямайки, прельщенные перспективой быстрого обогащения, стали забрасывать свои участки земли и ремесла и записываться в команды флибустьерских судов. Определенную часть новобранцев наверняка составляли уволившиеся или сбежавшие со службы