При Ироде Иерусалим стал величественным и знаменитым городом, его постоянное население составляло приблизительно 120 000 человек. Ирод заново отстроил городские стены, хотя современные историки не пришли к единому мнению относительно того, как именно они проходили. Согласно Иосифу Флавию, Первая стена окружала Верхний город и Нижний город на территории древнего Города Давида. Вторая стена представляла собой дополнительную линию укреплений и шла вокруг нового богатого предместья от Антонии до старой северной стены, построенной при Хасмонеях (Война, V, 4, 2). Нижний город тоже украсился дворцами, хотя и более скромными, чем царский. В частности, там находилась резиденция принявших иудаизм правителей месопотамской области Адиабена, которые выстроили также большой семейный склеп за пределами городских стен, – это захоронение известно сегодня под названием Гробница царей. На холмах и в долинах вокруг городских стен стали появляться и другие богато украшенные усыпальницы – останки не должны были осквернять священных пределов города. Вход в погребальную камеру, выдолбленную в скале, часто закрывался огромным камнем, который откатывали в сторону, если требовалось попасть внутрь. Самые известные надгробные памятники иродианских времен находятся в Кедронской долине, близ мавзолея семейства бней Хезир. Это мемориальный обелиск и расположенная рядом гробница, высеченная в скале. Позднее паломники назвали их соответственно «столпом Авессалома» и «гробницей Иосафата».
Около 19 г. до н. э. Ирод задумал осуществить грандиозную реконструкцию Храма. Народ, естественно, забеспокоился: не случится ли так, что царь снесет нынешние постройки, а после не найдет средств на сооружение новых? Будут ли строители верны предписаниям Торы? То, что строил Ирод, часто поражало новаторской смелостью, а план Храма был раскрыт Моисею, а после Давиду самим Богом, и здесь для оригинальности места не оставалось. Ирод постарался развеять все мыслимые опасения. Работы начались лишь после того, как были подготовлены все требуемые материалы и проект, где в точности воспроизводились планировка и размеры старых строений храмового комплекса. Чтобы мирянам не пришлось заходить в места, закрытые для их доступа, Ирод распорядился обучить тысячу священнослужителей ремеслу каменщиков и плотников; лишь эти люди могли работать в Хехале и Двире. Сам Ирод ни разу не переступил порог здания, которое осталось в памяти следующих поколений как венец его строительной деятельности. Работы, спланированные таким образом, чтобы обряды жертвоприношений ни на один день не прерывались, были полностью завершены за полтора года. И поскольку Храм действовал в течение всего времени строительства, он и после реконструкции продолжал именоваться Вторым, хотя на самом деле был уже Третьим.
Ирод не имел права изменить размер или форму святилища, но мог его украсить. Стены были облицованы белым мрамором с алыми и голубыми волнистыми прожилками, «словно морская рябь» (ТВ Бава Батра 4А). Двери Хехала, покрытые листовым золотом, украшали «золотые виноградные лозы, от которых свешивались кисти в человеческий рост» (Война, V, 5, 4). За дверями находилась занавесь из бесценной материи, затканная алыми, синими и пурпурными нитями, с изображениями солнца, луны и планет.