На краю пропасти. Экзистенциальный риск и будущее человечества

Одна из самых удивительных характеристик этого рискового ландшафта – огромная разница между вероятностями разных рисков. Одни риски в миллионы раз вероятнее других, и мало какие из рисков имеют вероятности одного порядка. Такая разница наблюдается и между разными классами рисков: по моим оценкам, антропогенные риски более чем в 1000 раз вероятнее природных[468]. Из антропогенных рисков, на мой взгляд, риски, сопряженные с технологиями будущего, примерно в 100 раз серьезнее рисков, сопряженных с существующими технологиями, а следовательно, риски в третьей, четвертой и пятой главах расположены по мере роста их вероятности.

На первый взгляд такая неоднородность может показаться неожиданной, но в науке на удивление часто встречается подобное распределение, включающее цифры различных порядков, где основной вклад в целое вносят максимальные величины. Из-за этой неоднородности нам крайне важно отдавать приоритет работе с нужными рисками. Кроме того, именно поэтому наша оценка общего риска сильно зависит от оценки нескольких самых серьезных рисков (которые входят в число самых слабо изученных). В связи с этим ключевой задачей становится более глубокое изучение этих рисков и более точная их оценка.

На мой взгляд, самый серьезный риск для человеческого потенциала в ближайшее столетие представляет неконтролируемый искусственный интеллект, которому я присвоил вероятность 1 к 10. Может показаться странным, что вероятность такого умозрительного риска столь высока, поэтому не помешает объяснить, чем я руководствовался.

При оценке вероятности беспрецедентного события, способного потрясти весь мир, принято проявлять скепсис: начинать с исключительно низкой вероятности и увеличивать ее лишь в том случае, когда появляется большое количество объективных данных в поддержку такого решения. Я не согласен с таким подходом. Я полагаю, что правильнее начинать с вероятности, которая отражает наши общие впечатления, а затем корректировать ее с учетом научных данных[469]. Когда данных много, эти подходы соединяются. Но когда данных мало, нам не все равно, с чего начинать.

В случае с искусственным интеллектом никто не спорит, что данные и доводы пока далеки от однозначности, но возникает вопрос: что нам это дает? Если не вдаваться в подробности, в своем анализе я отталкиваюсь от общего мнения экспертного сообщества, согласно которому вероятность того, что в ближайшее столетие появятся агенты ИИ, способные превзойти человека в выполнении практически любой задачи, составляет примерно 1 к 2. Если это случится, не стоит удивляться, что агенты, превосходящие нас по всем фронтам, в итоге, возможно, унаследуют наше будущее. Особенно если, рассматривая ситуацию в деталях, мы предвидим серьезные трудности при настройке таких агентов на соответствие нашим ценностям.

Одни мои коллеги присваивают этому риску большую вероятность, чем я, а другие – меньшую. Но в целом наши цифры сходятся. Допустим, вы более скептически подходите к оценке этого риска и присваиваете ему вероятность 1 к 100. С информационной точки зрения эти оценки не так далеки друг от друга: нужно не так уж много данных, чтобы перейти от одной из них к другой. С практической точки зрения они тоже, скорее всего, не слишком различаются: экзистенциальный риск, имеющий любую из этих вероятностей, стал бы проблемой первостепенной важности во всем мире.

Порой я представляю рисковый ландшафт, ориентируясь на пять серьезных рисков: ядерной войны, изменения климата, другого экологического ущерба, пандемий искусственного происхождения и неконтролируемого ИИ. Хотя я считаю последние два особенно важными, на мой взгляд, каждый из них с вероятностью не менее 1 к 1000 может в текущем столетии уничтожить потенциал человечества, а потому каждому из них необходимо противостоять силами всего мира, учитывая их вклад в общий уровень экзистенциального риска (в дополнение к другим убедительным причинам).

В целом я считаю, что вероятность экзистенциальной катастрофы в последующее столетие составляет примерно 1 к 6. Это не малая статистическая вероятность, которую нам следует держать в голове, как, например, вероятность погибнуть в дорожной аварии, а серьезная цифра, свидетельствующая о том, что действительно может произойти, сопоставимая с вероятностью выпадения любого из чисел на игральной кости или вероятностью неудачи в русской рулетке.

Риск велик, но наше положение вовсе не безнадежно. Оценка подразумевает, что в пяти случаях из шести человечество сумеет прожить следующую сотню лет, не растеряв свой долгосрочный потенциал. В связи с этим, хотя я считаю, что управление некоторыми рисками (скажем, рисками с вероятностью 1 к 1000 и выше) следует признать глобальной задачей первостепенной важности, я не говорю, что этот век станет для нас последним.