На краю пропасти. Экзистенциальный риск и будущее человечества

Как только информация обнародована, предпринимать что-либо уже поздно. Если попытаться сдержать распространение раскрытой информации или дискредитировать того, кто ее опубликовал, это привлечет к ней больше внимания. Информация о том, на что обращают внимание бдительные люди, – отдельный вид информационной опасности. “Аль-Каиду” к биотерроризму подтолкнули предостережения Запада о мощности и простоте биологического оружия[390]. Японская программа по разработке биологического оружия во время Второй мировой войны (когда бубонная чума использовалась в борьбе с Китаем) была непосредственно вдохновлена соглашением о запрете биологического оружия: раз западные державы сочли необходимым запретить его применение, это оружие, должно быть, и правда отличается огромной мощностью[391].

Порой достаточно и знания о возможности чего-либо, ведь в таком случае злоумышленник может уйти в работу с головой, не боясь, что растратит ресурсы зря.

Информационные угрозы имеют особенную важность для биориска, поскольку для него характерно высокое соотношение риска злоупотребления и риска несчастного случая[392]. И они затрагивают не только биологов. Изучая текущие уязвимости общества и опасности новейших техник, сообщество специалистов по биологической безопасности также раскрывает опасную информацию (о чем я должен прекрасно помнить, когда пишу этот раздел)[393]. Это еще сильнее усложняет задачу тем, кто пытается нас защитить.

Неконтролируемый искусственный интеллект

Летом 1956 года небольшая группа математиков и программистов собралась в Дартмутском колледже, чтобы приступить к грандиозному проекту по разработке разумных машин. Они изучали многие аспекты познания, включая логическое мышление, креативность, речь, принятие решений и обучение. Их вопросы и установки в итоге определили облик зарождающейся сферы искусственного интеллекта (ИИ). Свою конечную цель они видели в том, чтобы создать машину, чей интеллект мог бы сравниться с человеческим[394].

Несколько десятилетий спустя сфера ИИ упрочила свои позиции, но умерила амбиции. Наблюдаются серьезные успехи в логике, мышлении и играх, но в некоторых других областях прогресса нет вовсе. К 1980-м годам исследователи начали понимать эту закономерность успехов и провалов. Как ни странно, с задачами, выполнение которых мы считаем вершиной человеческого интеллекта (например, математическим анализом и игрой в шахматы), компьютеры справляются гораздо легче, чем с задачами, которые даются нам практически без труда (например, узнать кошку, понять простое предложение или поднять яйцо). В связи с этим, хотя в одних сферах ИИ значительно превосходил человеческие способности, в других он уступал даже двухлетнему ребенку[395]. Из-за невозможности добиться всестороннего прогресса многие исследователи ИИ отказались от изначальных целей по созданию общего интеллекта и стали ориентироваться на разработку специализированных методов для решения конкретных задач. Задачи более амбициозные списали на юношеский задор первооткрывателей в незрелой области исследований.