На краю пропасти. Экзистенциальный риск и будущее человечества

Так, Стюарт Рассел, профессор Калифорнийского университета в Беркли и автор самого популярного и авторитетного учебника по ИИ, настоятельно предостерегает от экзистенциального риска, сопряженного с ОИИ. Он даже основал Центр совместимого с человеком искусственного интеллекта, чтобы заниматься проблемой контроля[428]. В инженерной среде об экзистенциальных опасностях предупреждает Шейн Легг (старший исследователь DeepMind), который также участвует в развитии исследований контроля[429]. Подобные заявления делали и многие другие ведущие деятели сферы с первых дней ИИ до настоящего момента[430].

На самом деле мнения разнятся не столь сильно, как кажется на первый взгляд. Основные аргументы тех, кто склонен занижать риски, таковы: 1) скорее всего, способности ИИ смогут сравниться с человеческими или превзойти их не раньше чем через несколько десятилетий; 2) попытка незамедлительно ввести регулирование в сфере исследований ИИ станет огромной ошибкой. Ни один из этих доводов не оспаривается теми, кто советует проявлять осторожность: они согласны, что до появления ОИИ пройдут не годы, а десятки лет, и обычно рекомендуют исследовать возможности контроля над ИИ, а не вводить регулирование в отрасли. Получается, что их мнения расходятся не столько по вопросу о том, возможно ли появление ОИИ и может ли ОИИ действительно представлять угрозу человечеству, сколько по вопросу о том, стоит ли сегодня беспокоиться о потенциальной экзистенциальной угрозе, которая, возможно, возникнет лишь через несколько десятилетий. На мой взгляд, стоит.

Одной из фундаментальных причин очевидного несовпадения мнений выступает разница в представлении о том, что такое оправданный консерватизм. Хорошей иллюстрацией здесь служит гораздо более ранний случай спекулятивного риска, когда Лео Силард и Энрико Ферми впервые обсуждали возможность создания атомной бомбы: “Ферми полагал, что, следуя консервативным путем, необходимо вовсе отмести такую вероятность, я же считал, что, следуя консервативным путем, стоит признать, что такое действительно может произойти, и принять все меры предосторожности”[431]. В 2015 году я наблюдал такую же динамику на важнейшей конференции о будущем ИИ, состоявшейся в Пуэрто-Рико. Все признавали, что неопределенность и несогласие по вопросу о времени появления ОИИ требуют “консервативной оценки” прогресса, но половина присутствующих понимала под этим термином досадно медленный научный прогресс, а другая половина – досадно быстрое увеличение риска. Я полагаю, что существующая напряженность в дискуссии о том, воспринимать ли всерьез риски, сопряженные с ИИ, во многом объясняется именно несовпадением во взглядах относительно того, что значит делать взвешенные консервативные предположения о будущем прогрессе в сфере ИИ.

Эта конференция в Пуэрто-Рико стала переломным моментом, обозначив обеспокоенность участников экзистенциальным риском, сопряженным с ИИ. Было достигнуто согласие по существу вопроса, и многие участники подписали открытое письмо о необходимости приступить к серьезной работе, чтобы сделать ИИ надежным и полезным[432]. Через два года более крупная конференция состоялась в Асиломаре – там, где в 1975 году прошла знаменитая конференция по генетике, на которой биологи собрались, чтобы заблаговременно разработать принципы регулирования будущих возможностей генной инженерии. Собравшись в Асиломаре в 2017 году, исследователи ИИ приняли Асиломарские принципы разработки искусственного интеллекта, чтобы направлять добросовестное долгосрочное развитие отрасли. В их число вошли и принципы, связанные именно с экзистенциальным риском:

Предостережение о возможностях. В отсутствие консенсуса нам следует избегать сильных допущений относительно высших пределов будущих возможностей ИИ.

Важность. Продвинутый ИИ может повлечь за собой коренное изменение в истории жизни на Земле, поэтому его необходимо разрабатывать и контролировать с соизмеримой осторожностью, привлекая соответствующие ресурсы.

Риски. Риски, сопряженные с ИИ-системами, особенно катастрофические и экзистенциальные, должны предусматриваться заранее и сдерживаться путем приложения усилий, соизмеримых с их ожидаемыми последствиями[433].