Однако между самими иудеями в это время шла внутренняя борьба, и восставшие не пользовались единодушной поддержкой населения. Многие сельские землевладельцы, а также иудейские общины таких городов, как Сепфорис и Тивериада, были против войны с Римом. Саддукеи, мыслившие слишком трезво, чтобы вообразить, будто иудеям под силу победить могущество Римской империи, уже распрощались с мечтой о независимой Иудее. Фарисеи, которых вопросы религии волновали несравненно больше, нежели политика, всерьез опасались, что восстание против Рима может пагубно сказаться на судьбах диаспоры. Царь Агриппа II в попытке сгладить остроту конфликта убеждал восставших сложить оружие: неужели они вообразили, что превосходят силой галлов, германцев или греков, уже покорившихся власти Римской империи? Иосиф Флавий, из книг которого мы знаем об этих событиях, тоже принял сторону Рима, убежденный, что восстание равносильно самоубийству. Но против умеренных выступила новая воинственно настроенная партия зелотов, считавших, что Римская империя клонится к закату, а потому у евреев есть хорошие шансы на успех. Ведь удалось же в свое время Маккавеям сбросить чужеземный гнет и создать независимое иудейское царство! Зелоты рассматривали умеренных, выступавших за мир с римлянами, как предателей Сиона и мешали им участвовать в храмовой службе. Это течение поддерживалось лишь незначительной частью евреев Палестины, и даже в его собственных рядах не было согласия. Часть наиболее радикально настроенных зелотов в определенный момент ушла в крепость Масада на берегу Мертвого моря и не принимала дальнейшего участия в битве за город. После поражения Цестия Галла, когда уже было ясно, что войны с Римом не избежать, зелоты продолжали сражаться друг с другом на улицах Иерусалима.
Возможно, именно тогда иудеохристиане Иерусалима приняли решение покинуть город. Между ними и верхушкой иудейского общества периодически происходили столкновения. Был казнен один из «столпов», апостол Иаков, а в 62 г. первосвященник приговорил к смерти и Иакова Праведного за «нарушение закона», хотя 80 фарисеев просили за него Рим и погибли вместе с ним. Руководство иерусалимской церковью перешло к Симеону, двоюродному брату Иисуса, который увел христиан в Пеллу в Заиорданье: поскольку Иисус предсказал разрушение Иерусалима, они были убеждены, что город обречен. Другие евреи решили бороться в надежде на победу. В ожидании римлян, которые должны были прийти и расквитаться за поражение Цестия Галла, горожане спешно возвели вокруг Безеты третью крепостную стену, которую намечал построить Агриппа I.
К несчастью для иудеев, Рим послал на подавление мятежа Веспасиана, исключительно талантливого и опытного военачальника. Прибыв в Палестину в 67 г., Веспасиан начал методично один за другим уничтожать очаги сопротивления в Галилее. Однако в 70 г. Веспасиана провозгласили императором, и он вернулся в Рим, оставив дальнейшее ведение иудейской войны своему сыну Титу. Тит незамедлительно приступил к осаде Иерусалима. В мае римлянам удалось прорваться сквозь новую северную стену города, а неделей позже они сокрушили и Вторую стену, что шла вокруг рынков. После этого сражение переместилось на территорию, непосредственно прилегающую к Храму. Ближе к концу июля римляне захватили Антонию и оттуда начали обстреливать храмовые дворы из метательных орудий. 6 августа на главном алтаре Храма прошло последнее жертвоприношение. Но иудеи не сдавались. Среди зелотов многие верили, что город не может пасть, поскольку в нем живет Господь. Один из пророков возвестил, что Господь явит знамение чудесного спасения народа и Храма (Война, VI, 5, 2).