Орден госпитальеров берет начало от госпиталя Св. Иоанна, основанного в Иерусалиме в 1070 г. торговцами из Амальфи, дававшего приют и заботившегося о бедных пилигримах. Его основатель, Мауро ди Панталеоие, организовавший такой же госпиталь в Антиохии, умер в 1071 г.; дальше его финансово поддержала амальфийская община. Этот госпиталь-приют находился в квартале Муристан между базарной улицей и церковью Гроба Господня. Во время Первого крестового похода наставник общины Св. Иоанна, некий Жерар, передал информацию осаждающим и тем самым облегчил крестоносцам взятие Святого города. В начале XII столетия госпиталь был преобразован в монашеский орден, который стал называться
Постепенная милитаризация госпитальеров Св. Иоанна не была чем-то исключительным в XII столетии в Иерусалимском королевстве. Очевидно, это превращение монашеского ордена, занимавшегося благотворительной деятельностью, в военный орден произошло по примеру ордена тамплиеров. Орден тамплиеров, истоки которого так же малоизвестны и окружены тайной, как и тевтонского, возник как военный орден в 1118-1119 гг. под названием «Орден бедных рыцарей Христовых». Согласно историку Жаку де Витри, «они дали патриарху Иерусалимскому торжественную клятву, что будут защищать паломников от разбойников и грабителей, охранять дороги и служить государю как рыцари… Во главе ордена встали Гуго де Пейен и Годфруа Сент-Омер. <…> Король Балдуин поселил их в своем дворце, построенном на развалинах Храма Соломонова. <…> Позже их стали звать тамплиерами». Во время церковного собора в Труа в 1128 г. в присутствии папского легата, а возможно, и самого святого Бернара Клервоского, тесно связанного с Гуго де Пейеном, тамплиеры получили от папы Гонория II (1124-1130) устав ордена, составленный в подражание бенедиктинского устава; в нем оговаривались и военные обязанности тамплиеров.
По сравнению с госпитальерами Св. Иоанна и тамплиерами, братья госпиталя Святой Марии Иерусалимской занимали весьма скромное место, да и о деятельности их в первое десятилетие существования, в принципе, мало что известно. Однако братья госпиталя Святой Марии Немецкой продолжали оказывать помощь паломникам германского происхождения. Последних было, без сомнения, намного меньше, чем тех, кто приезжал из Франции или Италии. После Второго крестового похода 1147-1148 гг. под предводительством императора Конрада III и некоторых членов его семьи, среди которых были его братья — епископ Оттон Фрейзингенский и герцог Генрих Австрийский, — племянник Фридрих Швабский, будущий Фридрих Барбаросса, и многочисленные германские рыцари (из них надо выделить маркграфа Германа Баденского), немцы стали все чаще и чаще отправляться воевать в Палестину. Но лишь после Третьего крестового похода немцы прочно закрепились на Святой земле.
После взятия Иерусалима Саладином 30 сентября 1187 г. братья госпиталя Святой Марии, так же как госпитальеры и тамплиеры, вынуждены были уехать из города и искать убежища. Мы мало знаем об условиях этих поисков и о местах, где они могли бы найти пристанище; но, без сомнения, они укрылись в одном из странноприимных домов госпитальеров, оставшихся под контролем христиан. В очередной раз отсутствие достоверных свидетельств не дает нам возможности утолить свой информационный «голод».