Тем временем к назначенному полоцким князем дню собрались вооруженные ливы. К ним на помощь подошли и литовцы. Союзники планировали сначала занять ближайший к Риге замок Гольм, а оттуда уже напасть на рижан и разрушить город. Ливы, живущие в Гольме, чьих старейшин Генрих называет «зачинщиками всего злого дела», захватили замок, схватили своего священника Иоанна, отрубили ему голову, а тело изрезали на куски. Некоторые стали грабить окрестности Риги, другие через несколько дней разошлись по домам. Епископ собрал горожан, пилигримов и братьев-рыцарей на совет о том, что предпринять против ливов. «Все решили, что лучше, воззвав к помощи всемогущего бога и поручив ему вновь учрежденную церковь, вступить в бой с ливами в Гольме и лучше всем умереть за веру христову, чем поодиночке что ни день гибнуть в мучениях». Самые сильные немцы вместе с рижскими ливами, которые не поддержали своих соплеменников, погрузились на два корабля и выступили к Гольму. Ливы, завидев их, бросились на берег, чтобы помешать высадке. Католиков было всего сто пятьдесят человек, но, несмотря на огромное численное превосходство врага, они вступили в бой, который начался прямо в воде. Храбро сражаясь, католики сумели овладеть берегом. Ливы, не защищенные броней, несли большие потери от стрел. Ряды их сбились, и после того, как был убит их вождь старейшина ливов Ако, которого Генрих называет «виновником всего предательства и всех бед», началось паническое отступление. Одни пытались переплыть реку, другие укрылись в замке. Тем временем в Риге «со страхом божьим и молитвой» ждали вестей из-под Гольма. Тут появилось суденышко, на котором доставили раненых католиков и голову Ако в знак победы. «Радуясь со всеми, кто оставался дома, епископ возблагодарил бога, даровавшего церкви своей спасение силами немногих защитников».
После того как немцы стали обстреливать замок из метательных орудий, ливы сдались. Их старейшин отвели в Ригу и бросили в тюрьму. «Прочие же бывшие в замке, ради таинства крещения, ранее принятого ими, были пощажены, да и потом не терпели ничего дурного». Теперь Альберт мог отправиться в Германию, чтобы набрать новых пилигримов. С собой он взял и ливских старейшин (видимо, заключенных в Риге вождей восстания), «чтобы, познакомившись там с христианскими обычаями, научились быть верными и те, кто всегда были неверными».
Поражение под Гольмом не остановило ливов. Видя, что численное превосходство на их стороне, ливы были уверены в том, что с помощью Полоцка легко справятся с немцами. Получив известие об отъезде пилигримов и епископа, они отправили послов в Полоцк и предложили князю принять участие в новом нападении на немцев, пока в Риге осталось мало защитников. Полоцкий князь согласился. «Слушаясь их зова и советов, король собрал войско со всех концов своего королевства, а также от соседних королей, своих друзей, и с великой храбростью спустился вниз по Двине на корабле». О каких «соседних королях» пишет Генрих в своей Хронике — неясно. Летописи ничего не сообщают о походе какого-то из русских князей вместе с полоцким войском.
Сначала русские попытались высадиться у Икшкиле, но, понеся большие потери от арбалетчиков и поняв, что в замке находится немецкий гарнизон, пошли дальше, и внезапно подойдя к Гольму, окружили его со всех сторон. Одиннадцать дней гарнизон из двадцати немцев успешно отражал осаду. Осаждавшие несли большие потери от немецких «балистариев» (по Соловьеву, «камнестрельных машин»), а сами не могли причинить защитникам замка никакого вреда. Что это за оружие, которое в Хронике Генриха называется балистой и, по его словам, незнакомое русским, не совсем понятно. Возможно, речь идет об арбалетах, тогда еще неизвестных на Руси. Некоторые историки считают, что балистарии — это пращники. Праща простое, но весьма эффективное оружие. Научиться пользоваться пращей намного легче, чем овладеть навыками стрельбы из лука, а выпущенный из нее камень опасен так же, как стрела. К тому же стрельба из лука требует большой физической силы, а с пращей справится даже ребенок. Именно с помощью пращи полуголый библейский мальчик Давид убил закованного в доспехи силача и великана Голиафа. Главное преимущество пращников перед лучниками в том, что у них не было проблем с боеприпасами. Камни в этих краях грудами лежали прямо под ногами. Только успевай нагибаться. В отличие от стрел, которые нужно еще изготовить. А это трудоемкая работа, требующая определенных навыков, инструментов и деталей (наконечников, оперения).
Генрих пишет о том, что во время этой осады произошел курьезный случай: русские пытались использовать небольшую метательную машину, по образцу немецких, но, не умея ею пользоваться, «ранили многих у себя, попадая в тыл».
Попытка поджечь замок тоже не увенчалась успехом: меткая стрельба защитников Гольма не дала подтащить к его стенам дрова.