В 1984 году Осама бин-Ладен вновь сблизился со своим бывшим учителем, шейхом Абдаллой Азамом. На территории Афганистана под началом шейха Абдаллы действовало несколько группировок, принимавших активное участие в боях с Советской армией. Осама бин-Ладен стал военным союзником шейха. Если целью Абдаллы было изгнание «шурави» (так называли здесь советских солдат), то планы Осамы были гораздо масштабнее. Его война была лишь частью грандиозного плана объединения всех мусульман для выполнения воли Всевышнего. Он чувствовал эту волю и готов был исполнить возложенную на него миссию. Он вдохнул в традиционный догматический ислам новое революционное сознание. Пока что они с Абдаллой сражались вместе, но союз этот был временным. Ученик перерос своего учителя. Бин-Ладен видел дальше. Когда между ними возникли противоречия, он без колебаний разорвал отношения с шейхом и стал действовать самостоятельно. Он воевал, но одновременно продолжал строить, расширять и укреплять ареал своего влияния. По сути, он создавал в труднопроходимых горах государство военного назначения, со своей инфраструктурой, связью и возможностью длительного автономного существования в условиях осады и массированного военного воздействия. Здесь были военные лагеря для подготовки моджахедов, склады и долговременные убежища, способные выдержать удары самого современного оружия. Бин-Ладен видел не только нынешнюю войну, но и войну будущего и загодя готовился к ней. Район готов был стать центром общемирового исламского радикализма. Что со временем и случилось.
Пока же штаб и координационный пропагандистский центр бин-Ладена располагались в Пешаваре. На их оборудование и работу бин-Ладен не жалел средств. Здесь была большая типография, специальный отдел, занимавшийся вопросами религиозно-идеологического воспитания, со своей огромной библиотекой пропагандистской литературы. При центре функционировали отделы боевой подготовки, финансового обеспечения и материального снабжения моджахедов. Большое внимание уделялось работе по сбору пожертвований, агитации среди исламских студентов и молодежи в разных странах (включая страны Европы и США), набору и обучению добровольцев. Здесь не только сформировалась идеология исламского фундаментализма, но была подведена база для ее реализации и сформированы соответствующие структуры. Безусловно, бин-Ладена можно охарактеризовать как выдающегося революционера, он был не только фанатичным и самоотверженным приверженцем идеи, но расчетливым политиком и практиком, способным провести свою идею в жизнь.
Основной поток добровольцев поступал через Саудовскую Аравию и Египет. Прибывшие в Пешавар волонтеры проходили начальную военную подготовку, мелкими группами переправлялись на территорию Афганистана и там вливались в отряды моджахедов. По организационным вопросам бин-Ладену приходилось поддерживать теснейшие контакты с лидерами моджахедов. Первоначально лидеры афганского сопротивления критически относились к использованию арабских добровольцев, рассчитывая обойтись собственными силами. Бин-Ладену пришлось приложить усилия, чтобы изменить это мнение. И это ему удалось. За годы войны он завоевал настолько прочный авторитет, что руководители партизанских отрядов, опирающиеся на разные племена и преследующие собственные интересы, не раз обращались к нему с просьбой о посредничестве в решении спорных вопросов. В его справедливости никто не сомневался. В немалой степени его авторитет опирался на тесные связи с двумя крупнейшими лидерами моджахедов: Бурхануддином Раббани и Гулбуддином Хекматьяром.
В середине 80-х годов разрозненные и недостаточно обученные отряды моджахедов оказались на грани поражения. Советская Армия приобрела опыт ведения войны в труднодоступных горных районах страны и постепенно брала их под свой контроль. Окончательный исход войны казался лишь вопросом времени. В этот критический для Афганистана период бин-Ладен создает свои собственные военные формирования, укомплектованные исключительно из арабов-наемников, получивших впоследствии имя «арабских афганцев». Среди этих людей было немало профессиональных военных из Сирии и Египта. Они имели за плечами богатый боевой опыт, накопленный в войнах с Израилем и других военных конфликтах.