На краю пропасти. Экзистенциальный риск и будущее человечества

Я рассмотрел сценарий, в котором ИИ-система захватывает контроль над будущим, поскольку считаю, что таков самый правдоподобный экзистенциальный риск, сопряженный с ИИ. Но есть и другие угрозы, и эксперты расходятся во мнениях относительно того, какая из них представляет наибольший экзистенциальный риск. Например, существует риск постепенного вступления в будущее, контролируемое ИИ, где ИИ-системам передается все больший контроль и где будущее человечества все сильнее оптимизируется с оглядкой на нечеловеческие ценности. Есть и риски, сопряженные с намеренным злоупотреблением чрезвычайно мощными системами ИИ.

Даже если эти доводы о наличии риска совсем неверны в деталях, нам следует внимательно следить за разработкой ОИИ, поскольку в ходе нее могут возникнуть и другие, непредвиденные риски. Переход к миру, где люди перестанут быть самыми разумными существами на планете, вполне может привести к величайшему в истории изменению положения человечества во Вселенной. Не стоит удивляться, если события в процессе этого перехода определят наше долгосрочное будущее, изменив его либо в лучшую, либо в худшую сторону.

Изменить наше долгосрочное будущее в лучшую сторону ИИ мог бы, например, обеспечив нам защиту от других экзистенциальных рисков, с которыми мы сталкиваемся. Так, ИИ мог бы дать нам возможность найти способ справиться с основными рисками или выявить новые риски, которые в ином случае стали бы для нас неожиданностью. Кроме того, ИИ мог бы помочь нам сделать наше долгосрочное будущее более светлым, чем если бы ИИ не существовало вовсе. Поэтому мысль о том, что разработка ИИ может представлять экзистенциальный риск, – это не аргумент в пользу отказа от ИИ, а предупреждение, что следует действовать осторожно.

Рассуждения об экзистенциальном риске, сопряженном с ИИ, несомненно, имеют спекулятивный характер. И все же спекулятивные рассуждения о серьезном риске могут быть важнее основательных дискуссий о маловероятном риске, таком как риск столкновения с астероидом. Сейчас очень важно найти способ оценить, в какой степени эти рассуждения спекулятивны, и для начала узнать, что думают об этом риске специалисты, работающие в соответствующей области.

Некоторые исследователи ИИ, такие как профессор Орен Этциони, не стесняясь в выражениях, называют его “в высшей степени маргинальным” и утверждают, что, хотя светила вроде Стивена Хокинга, Илона Маска и Билла Гейтса и проявляют огромную озабоченность по этому поводу, людей, работающих с ИИ, ничего не пугает^[427]

. Если это действительно так, это дает вескую причину сомневаться в наличии риска. Но достаточно поверхностного взгляда на высказывания ведущих деятелей в сфере ИИ, чтобы понять, что на самом деле ситуация обстоит иначе.

Так, Стюарт Рассел, профессор Калифорнийского университета в Беркли и автор самого популярного и авторитетного учебника по ИИ, настоятельно предостерегает от экзистенциального риска, сопряженного с ОИИ. Он даже основал Центр совместимого с человеком искусственного интеллекта, чтобы заниматься проблемой контроля^[428]. В инженерной среде об экзистенциальных опасностях предупреждает Шейн Легг (старший исследователь DeepMind

), который также участвует в развитии исследований контроля^[429]. Подобные заявления делали и многие другие ведущие деятели сферы с первых дней ИИ до настоящего момента^[430].

На самом деле мнения разнятся не столь сильно, как кажется на первый взгляд. Основные аргументы тех, кто склонен занижать риски, таковы: 1) скорее всего, способности ИИ смогут сравниться с человеческими или превзойти их не раньше чем через несколько десятилетий; 2) попытка незамедлительно ввести регулирование в сфере исследований ИИ станет огромной ошибкой. Ни один из этих доводов не оспаривается теми, кто советует проявлять осторожность: они согласны, что до появления ОИИ пройдут не годы, а десятки лет, и обычно рекомендуют исследовать возможности контроля над ИИ, а не вводить регулирование в отрасли. Получается, что их мнения расходятся не столько по вопросу о том, возможно ли появление ОИИ и может ли ОИИ действительно представлять угрозу человечеству, сколько по вопросу о том, стоит ли сегодня беспокоиться о потенциальной экзистенциальной угрозе, которая, возможно, возникнет лишь через несколько десятилетий. На мой взгляд, стоит.