Вместе с тем это было довольно тусклое агентство, которое всегда стояло в тени «Моссада» и «Амана». Лишь изредка на долю «Шин Бет» перепадали какие-то крохи признания, главным образом через оперативный департамент, который был общим с «Моссадом». Например, иногда проводились некоторые захватывающие зарубежные операции вроде похищения Адольфа Эйхмана или розыска Йосселе Шумахера.
В целом «Шин Бет» выполняла неблагодарную задачу по наблюдению за иностранными шпионами и внутренними подрывными элементами. Естественно, что арабское меньшинство в Израиле всегда было главным контингентом разработки этой службы.
Всего за год до Шестидневной войны правительство ликвидировало военную администрацию, существовавшую в арабских поселках и деревнях с момента окончания войны за независимость 1948 года. Израильтяне арабского происхождения всегда имели право голосовать на выборах в кнессет, но их повседневная жизнь управлялась совсем не так, как это было в местах, населенных евреями. В районах с преобладающим арабским населением, особенно в Галилее, на севере Израиля, все жители находились под неусыпным наблюдением «Шин Бет».
Рекомендация об отмене военной администрации в конкретных районах Израиля была высказана в 1966 году бывшим работником «Моссада» Шмуэлем Толедано, который в тот период был советником Эшкола по арабским делам. Хармелин поддержал это предложение, но не потому, что «Шин Бет» вдруг воспылала любовью к арабам и их гражданским правам, а потому, что это отвечало интересам национальной безопасности.
Задача «Шин Бет» заключалась в том, чтобы не допустить превращения арабов в пятую колонну, которая будет действовать в интересах своих братьев по ту сторону границы. Отмена военной администрации, по мнению «Шин Бет», способствовала бы интеграции арабов в израильское общество, получению ими образования в израильских университетах, создала бы для них равные возможности в бизнесе, развитии карьеры, повышении своих доходов, ликвидации ощущения дискриминации, разочарования и чувства безысходности, которые способствовали появлению «подрывных» настроений. «Шин Бет» считала, что отмена официальных ограничений в отношении израильских арабов внесет успокоение в этот сектор общества и будет способствовать изоляции экстремистов, недовольных жизнью в Израиле.
Предложение Толедано было принято. Это знаменовало собой внесение существенных коррективов в работу «Шин Бет», с которых, собственно, и началась эра Хармелина. До того времени, когда ему предложили заменить бесцветного и сугубо делового Манора, Хармелин возглавлял в «Шин Бет» службу контрразведки. Теперь он намеревался сделать охоту на шпионов основной функцией «Шин Бет».
Новый шеф любил профессию контрразведчика. Достижение успеха на этом направлении требовало особой изощренности, а допросы подозреваемых — немалого интеллектуального напряжения. Чтобы выявить слабые места у подозреваемого, нужно было вообще хорошо знать человеческие слабости. Следователь «Шин Бет» и вероятный шпион или предатель могли вместе пить кофе, не прибегая к насилию и соревнуясь в интеллектуальном превосходстве.
Йозеф Хармелин привлекал внимание своим высоким ростом, но наиболее запоминающейся чертой было его абсолютно бесстрастное лицо. Умение скрывать свои чувства — очень полезное качество для разведчика, и он, видимо, был наделен им от рождения, когда появился на свет в Вене в 1923 году.
После аншлюса 1938 года, когда Австрия была включена в состав нацистского рейха, родители Хармелина уехали в Мексику и тем самым избежали приближавшегося Холокоста. Однако юный Йозеф, который был более привержен идеям сионизма, чем его родители, отправился в Палестину. Там он учился в сельскохозяйственной школе Бен Шемен, из которой вышли будущий премьер Шимон Перес и будущий шпион Вольфганг Лотц. Подобно Харелу и Амиту Хармелин работал в кибутце, а потом поступил в британскую армию. После войны он вступил в «Хагану», где познакомился с Харелом, а когда Израиль обрел независимость, стал сотрудником «Шин Бет» и постепенно достиг высшего поста в этой организации.
Его отношения с Леви Эшколом, назначившим его на этот пост, были довольно официальными, но Эшкол стремился к другому. Как премьер-министр, отвечавший за деятельность «Моссада» и «Шин Бет», он желал установления тесных и даже дружеских отношений с Хармелином — в отличие от шефа «Моссада» Меира Амита, который часто доставлял ему неприятности.
Эшкол считал Хармелина безукоризненно честным, искренним человеком, который во всем стремился к совершенству. С другой стороны, Хармелин был слишком скучен для Эшкола, изощренного политика, мастера партийных интриг и любящего шутку человека. Это чувство юмора не находило отклика у Хармелина, несмотря на постоянные попытки Эшкола оживить их беседу юмором и мудростью на его любимом идише.