Наряду с однолинейным счетом родства другим важнейшим признаком рода был обычай экзогамии, т. е. запрещение брачного общения внутри рода. Происхождение этого обычая, а тем самым и конкретный механизм превращения праобщины в родовую общину все еще остается неясным.
По вопросу о происхождении экзогамии существует множество различных теорий, ни одна из которых не является общепринятой. Первая из них была предложена в 60-х годах XIX в. Мак-Леннаном, введшим в науку понятие экзогамии, но в то же время запутавшим его разделением всех первобытных племен на экзогамные и Эндогамные. По мнению Мак-Леннана, истоки экзогамии лежали в обычаях «воинственных дикарей», убивавших бесполезных на войне девочек, а поэтому вынужденных искать себе жен на стороне.
Дарвин, обратив внимание на то, что самцы оленногонных собак предпочитают чужих самок самкам своей стаи, объяснял происхождение экзогамии взаимным отвращением к половому общению, которое должно было возникнуть у близких, повседневно общавшихся между собой родственников; в пользу этого предположения, возможно, в какой-то степени говорят данные современной демографической статистики по некоторым странам Юго-Восточной Азии, свидетельствующие о более высокой детности в семьях, основанных на неродственных браках. К теории Дарвина близка довольно распространенная теория «инстинктивного» отвращения к кровосмесительным половым связям. Еще один взгляд на происхождение экзогамии (Бриффолт, а среди советских ученых Б.Ф. Поршнев) представлен выведением ее из такого якобы свойственного праобщине порядка, при котором более подвижные охотники-мужчины постоянно отрывались от женщин и встречались с женщинами других праобщин, в свою очередь отстававшими от своих мужчин. Отметим также гипотезу Э. Дюркгейма, искавшего истоки экзогамии в боязни перед человеческой кровью вообще и дефлорационной и менструальной кровью женщин из своего рода в особенности.
Заметный след в истории вопроса оставил Морган, связывавший возникновение экзогамных запретов со стремлением избежать биологически вредных последствий кровосмешения. Это объяснение было воспроизведено Энгельсом в его труде «Происхождение семьи, частной собственности и государства» с той, однако, оговоркой, что подобное стремление могло проявляться лишь стихийно, без ясного сознания цели. Однако позднейшие данные науки показали, что теория Моргана не бесспорна. Во-первых, выяснилось, что вредоносность родственных браков при достаточно значительных размерах популяции, т. е. взаимобрачной группы, проблематична. Во-вторых, если даже такие браки и были вредоносны, это не могло быть принято во внимание формировавшимся родовым обществом, хотя бы потому, что мустьерский человек, вероятно, еще не вполне понимал связь между половым актом и деторождением, о чем свидетельствуют остатки некоторых верований австралийцев. В-третьих, в большинстве случаев родовое общество не только допускало, но и считало обязательными браки между определенными категориями близких родственников. Учитывая все это, большинство современных ученых считают «биологическую» теорию возникновения экзогамных запретов недостаточно обоснованной.
Разрабатывая сложную проблему происхождения экзогамии, советские ученые стремятся найти внутреннюю взаимосвязь между этой формой регулирования половых отношений и всем ходом развития производственной деятельности первобытных человеческих коллективов. Идя этим путем, некоторые исследователи (А.М. Золотарев, С.А. Токарев) связывают возникновение экзогамии со стремлением мустьерских праобщин преодолеть срою первоначальную замкнутость и установить хозяйственные контакты с соседними праобщинами. Однако одного этого объяснения, по-видимому, недостаточно. Тенденция к расширению хозяйственных связей в своем развитии должна была бы привести к появлению большого количества взаимосвязанных групп; между тем, как мы увидим дальше, первоначальной структуре родового общества было присуще наличие только двух экзогамных взаимобрачных коллективов. Другие советские исследователи (М.П. Жаков, С.П. Толстов, Ю.И. Семенов) объясняют возникновение экзогамии необходимостью упорядочения хозяйственной жизни внутри первобытных коллективов. Они исходят из того, что нерегулируемые половые отношения должны были сопровождаться непрерывными столкновениями на почве ревности и тем самым расшатывали праобщину как хозяйственную и общественную ячейку. Борясь с этим, общество постепенно вводило половые запреты, все более ограничивавшие и, в конце концов, сделавшие невозможным половое общение внутри данной группы. Но вынесение половой жизни за рамки коллектива, укрепляя его, должно было повести к учащению конфликтов с другими коллективами, причем понятно, что чем больше было бы таких взаимобрачных групп, тем шире была бы арена конфликтов. Поэтому простейший естественный путь устранения создавшихся противоречий вел к постепенному возникновению дуальной[46]
организации — сочетания только двух экзогамных групп в одно постоянное взаимобрачное объединение, зародыш эндогамного племени.