На краю пропасти. Экзистенциальный риск и будущее человечества

Информационные угрозы имеют особенную важность для биориска, поскольку для него характерно высокое соотношение риска злоупотребления и риска несчастного случая^[392]. И они затрагивают не только биологов. Изучая текущие уязвимости общества и опасности новейших техник, сообщество специалистов по биологической безопасности также раскрывает опасную информацию (о чем я должен прекрасно помнить, когда пишу этот раздел

)^[393]. Это еще сильнее усложняет задачу тем, кто пытается нас защитить.

Неконтролируемый искусственный интеллект

Летом 1956 года небольшая группа математиков и программистов собралась в Дартмутском колледже, чтобы приступить к грандиозному проекту по разработке разумных машин. Они изучали многие аспекты познания, включая логическое мышление, креативность, речь, принятие решений и обучение. Их вопросы и установки в итоге определили облик зарождающейся сферы искусственного интеллекта (ИИ). Свою конечную цель они видели в том, чтобы создать машину, чей интеллект мог бы сравниться с человеческим^[394].

Несколько десятилетий спустя сфера ИИ упрочила свои позиции, но умерила амбиции. Наблюдаются серьезные успехи в логике, мышлении и играх, но в некоторых других областях прогресса нет вовсе. К 1980-м годам исследователи начали понимать эту закономерность успехов и провалов. Как ни странно, с задачами, выполнение которых мы считаем вершиной человеческого интеллекта (например, математическим анализом и игрой в шахматы), компьютеры справляются гораздо легче, чем с задачами, которые даются нам практически без труда (например, узнать кошку, понять простое предложение или поднять яйцо). В связи с этим, хотя в одних сферах ИИ значительно превосходил человеческие способности, в других он уступал даже двухлетнему ребенку^[395]

. Из-за невозможности добиться всестороннего прогресса многие исследователи ИИ отказались от изначальных целей по созданию общего интеллекта и стали ориентироваться на разработку специализированных методов для решения конкретных задач. Задачи более амбициозные списали на юношеский задор первооткрывателей в незрелой области исследований.

Но маятник начал обратный ход. С первых дней исследования ИИ ученые стремились создать системы, способные обучаться новым вещам без перепрограммирования. Одним из первых подходов к машинному обучению стало конструирование искусственных нейронных сетей, напоминающих строение человеческого мозга. В последнее десятилетие этот метод наконец начал развиваться. Их структура и принципы обучения стали технически совершеннее, базы данных – больше, а вычислительная мощность – выше, и это в совокупности позволило нам обучать гораздо более крупные и глубокие сети, чем когда-либо ранее^[396].

Такое глубокое обучение дает сетям способность усваивать тонкие идеи и проводить различия. Теперь они не только в состоянии узнать кошку, но и лучше человека справляются с распознаванием разных кошачьих пород^[397]

. Они лучше нас узнают людей в лицо и различают идентичных близнецов^[398].

И мы научились применять эти способности не только для распознавания и классификации. Системы глубокого обучения могут переводить с языка на язык почти на уровне профессионального переводчика. Они могут создавать изображения людей и животных с фотографической точностью. Могут говорить голосами людей, которых послушали всего несколько минут. И могут освоить точное непрерывное управление, например научиться водить машину или собирать конструктор лего с помощью роборуки^[399].

Но, пожалуй, главным предвестником грядущего служит их способность обучаться играм. Игры занимали центральное положение в сфере ИИ со времени Дартмутской конференции. В результате непрерывного поступательного прогресса ИИ, который в 1957 году играл в шахматы на любительском уровне, в 1997 году вышел на сверхчеловеческий уровень, а затем, по сути, пошел дальше^[400]. Для этого потребовался огромный объем специальных человеческих знаний о шахматной стратегии.