Центром Новых Нидерландов стал форт Новый Амстердам, расположившийся на южной оконечности Манхэттена. Форт имел четыре бастиона с гарнизоном в 60 солдат, а всего на острове проживало около 500 человек, говоривших на 18 языках. Внутри форта располагались каменная церковь, дом губернатора, склады и бараки. К середине века застройка Нового Амстердама вышла уже за пределы форта, и хотя Ост-Индская компания запрещала продавать землю в частную собственность, колонисты захватывали ее без разрешения.
В южной части острова Манхэттен было много ручьев, болот и камней, но поселенцы, привыкшие у себя на родине к мелиоративным работам, осушили свои участки, прорыв дренажные каналы. Некоторые из них просто переселились на соседние острова.
Со временем Новый Амстердам выделился среди других торговых поселений и стал административным центром Новых Нидерландов. Вокруг него появляются другие поселения, а в 1639 году на восточной стороне бухты был основан поселок Брейкелен, из которого впоследствии вырос нью-йоркский район Бруклин. Через три года датчанин Йоханнес Бронк, перейдя с острова через реку Гарлем, поселился на материке, где стал выращивать табак (позднее здесь развился Бронкс). В 1643 году первое поселение появилось на территории современного Куинса, а еще через 20 лет – на острове Статен-Айленд.
Так застраивался Новый Амстердам, но жизнь в городе не была безопасной. Нападения поселенцев на индейцев положили начало войне с ними, и тогда губернатор Стьювисент, чтобы защитить город, соорудил вокруг него деревянную оборонительную стену, которая перерезала южную оконечность острова. Однако стена эта имела скорее символическое значение, так как горожане постоянно разбирали ее доски для ремонта своих домов, а также для их отопления. В результате к концу XVII века на месте окончательно разобранной стены возникла будущая Уолл-стрит.
Колония Новый Амстердам не приносила ожидаемых доходов, среди ее жителей постепенно воцарились апатия и растерянность, и к началу 1660-х годов колония фактически пришла к банкротству. Когда соперничество между Голландией и Англией на морских торговых путях переросло в необъявленную войну, разоренный Новый Амстердам в 1664 году без малейшего сопротивления капитулировал перед английской эскадрой. В том же году английский король Карл II подарил своему брату Якову, герцогу Йоркскому и Олбанскому, часть земель Новых Нидерландов, вот тогда Новый Амстердам и был переименован в честь своего нового хозяина в Нью-Йорк.
Ко времени прихода англичан город уступал по численности населения Бостону и Филадельфии, в нем преобладали ветхие здания на узких и извилистых улицах, которые к тому же не убирались. Однако уже в первое десятилетие XVIII века Нью-Йорк превратился в культурный центр британской Америки: здесь стала издаваться газета, открылись театр и Библиотека нью-йоркского общества, начал свою деятельность Королевский колледж (теперь Колумбийский университет). Благоустраивались улицы города, были возведены новые церкви, в дома провели воду, организовали движение городского транспорта. До нашего времени от английского колониального стиля в Нью-Йорке сохранилось немного построек: в частности, это церковь Святого Павла и так называемая «таверна Фронса», возведенная в 1712 году. Но и последняя мало что сохранила от своего первоначального облика: в современном виде она представляет собой лишь имитацию, созданную в 1907 году, но тем не менее претендует на «ценность» подлинной старины.
Перед началом войны за независимость Америки Нью-Йорк оказался в центре удара британских войск, которые хотели захватить долину Гудзона и тем самым разобщить мятежные колонии. Занятый англичанами в сентябре 1776 года Нью-Йорк за несколько дней был опустошен пожаром, который уничтожил более трети городских зданий.
После Гражданской войны Манхэттен захотел стать не только городом, но и метрополией. Однако у государства уже была столица – город Вашингтон, а Манхэттен – это ядро «великого» Нью-Йорка – никак не хотел быть только национальным центром. Однако почти до конца XIX века город состоял только из Манхэттена, отдельно выделялся Бруклин, а все остальные районы были лишь мелкими фермами, пригородами, независимыми поселками. Но Нью-Йорк стремился стать первым, отсюда и его стремление к захвату других островов, что осуществлялось с помощью мостов и тоннелей.