На краю пропасти. Экзистенциальный риск и будущее человечества

Наконец, системе нужно будет получить еще больше власти. Здесь мы уходим в сферу предположений, но правдоподобных вариантов развития событий немало: она может захватить большинство компьютеров в мире и создать миллионы или миллиарды своих взаимодействующих копий; использовать украденную вычислительную мощность, чтобы повысить уровень собственного интеллекта и оставить человека далеко позади; применить свои интеллектуальные способности для разработки новых технологий вооружения и экономических технологий; манипулировать лидерами ведущих мировых держав (шантажируя их или суля им больше власти в будущем); а также заставить подконтрольных ей людей применять оружия массового уничтожения, чтобы покалечить все остальное человечество.

Разумеется, ни одна из существующих ИИ-систем не способна на такое. Но мы пытаемся понять, существуют ли правдоподобные сценарии, в которых контроль захватывает высокоинтеллектуальная система ОИИ. И похоже, что да, существуют. В истории уже были случаи, когда люди, обладающие интеллектом человеческого уровня (Гитлер, Сталин, Чингисхан), сосредотачивали в своих руках не только власть отдельного человека, но и значительную часть мировой власти, поскольку без этого они не могли достичь своих целей[425]. Человечество за время своего существования превратилось из немногочисленного вида, в котором было менее миллиона особей, в вид, способный самостоятельно определять собственное будущее. Нам следует полагать, что такое может произойти и с новыми сущностями, гораздо более интеллектуальными, чем мы сами, особенно если они, по сути, бессмертны, поскольку имеют резервные копии и обладают способностью производить новые копии, пуская на это захваченные деньги и компьютеры.

Такой сценарий необязательно сопряжен с вымиранием человечества. И все же он вполне может обернуться экзистенциальной катастрофой. В этом случае человечество навсегда потеряет контроль над своим будущим. Наше будущее будет зависеть от того, как небольшое число людей настроило компьютерную систему, захватившую контроль. При удачном раскладе это может привести к хорошему или приемлемому исходу, но с той же вероятностью мы окажемся в глубоко порочном или дистопическом будущем, которое уже никогда не сможем изменить[426].

Я рассмотрел сценарий, в котором ИИ-система захватывает контроль над будущим, поскольку считаю, что таков самый правдоподобный экзистенциальный риск, сопряженный с ИИ. Но есть и другие угрозы, и эксперты расходятся во мнениях относительно того, какая из них представляет наибольший экзистенциальный риск. Например, существует риск постепенного вступления в будущее, контролируемое ИИ, где ИИ-системам передается все больший контроль и где будущее человечества все сильнее оптимизируется с оглядкой на нечеловеческие ценности. Есть и риски, сопряженные с намеренным злоупотреблением чрезвычайно мощными системами ИИ.

Даже если эти доводы о наличии риска совсем неверны в деталях, нам следует внимательно следить за разработкой ОИИ, поскольку в ходе нее могут возникнуть и другие, непредвиденные риски. Переход к миру, где люди перестанут быть самыми разумными существами на планете, вполне может привести к величайшему в истории изменению положения человечества во Вселенной. Не стоит удивляться, если события в процессе этого перехода определят наше долгосрочное будущее, изменив его либо в лучшую, либо в худшую сторону.

Изменить наше долгосрочное будущее в лучшую сторону ИИ мог бы, например, обеспечив нам защиту от других экзистенциальных рисков, с которыми мы сталкиваемся. Так, ИИ мог бы дать нам возможность найти способ справиться с основными рисками или выявить новые риски, которые в ином случае стали бы для нас неожиданностью. Кроме того, ИИ мог бы помочь нам сделать наше долгосрочное будущее более светлым, чем если бы ИИ не существовало вовсе. Поэтому мысль о том, что разработка ИИ может представлять экзистенциальный риск, – это не аргумент в пользу отказа от ИИ, а предупреждение, что следует действовать осторожно.

Рассуждения об экзистенциальном риске, сопряженном с ИИ, несомненно, имеют спекулятивный характер. И все же спекулятивные рассуждения о серьезном риске могут быть важнее основательных дискуссий о маловероятном риске, таком как риск столкновения с астероидом. Сейчас очень важно найти способ оценить, в какой степени эти рассуждения спекулятивны, и для начала узнать, что думают об этом риске специалисты, работающие в соответствующей области.

Некоторые исследователи ИИ, такие как профессор Орен Этциони, не стесняясь в выражениях, называют его “в высшей степени маргинальным” и утверждают, что, хотя светила вроде Стивена Хокинга, Илона Маска и Билла Гейтса и проявляют огромную озабоченность по этому поводу, людей, работающих с ИИ, ничего не пугает[427]. Если это действительно так, это дает вескую причину сомневаться в наличии риска. Но достаточно поверхностного взгляда на высказывания ведущих деятелей в сфере ИИ, чтобы понять, что на самом деле ситуация обстоит иначе.