На краю пропасти. Экзистенциальный риск и будущее человечества

При оценке вероятности беспрецедентного события, способного потрясти весь мир, принято проявлять скепсис: начинать с исключительно низкой вероятности и увеличивать ее лишь в том случае, когда появляется большое количество объективных данных в поддержку такого решения. Я не согласен с таким подходом. Я полагаю, что правильнее начинать с вероятности, которая отражает наши общие впечатления, а затем корректировать ее с учетом научных данных^[469]. Когда данных много, эти подходы соединяются. Но когда данных мало, нам не все равно, с чего начинать.

В случае с искусственным интеллектом никто не спорит, что данные и доводы пока далеки от однозначности, но возникает вопрос: что нам это дает? Если не вдаваться в подробности, в своем анализе я отталкиваюсь от общего мнения экспертного сообщества, согласно которому вероятность того, что в ближайшее столетие появятся агенты ИИ, способные превзойти человека в выполнении практически любой задачи, составляет примерно 1 к 2. Если это случится, не стоит удивляться, что агенты, превосходящие нас по всем фронтам, в итоге, возможно, унаследуют наше будущее. Особенно если, рассматривая ситуацию в деталях, мы предвидим серьезные трудности при настройке таких агентов на соответствие нашим ценностям.

Одни мои коллеги присваивают этому риску большую вероятность, чем я, а другие – меньшую. Но в целом наши цифры сходятся. Допустим, вы более скептически подходите к оценке этого риска и присваиваете ему вероятность 1 к 100. С информационной точки зрения эти оценки не так далеки друг от друга: нужно не так уж много данных, чтобы перейти от одной из них к другой. С практической точки зрения они тоже, скорее всего, не слишком различаются: экзистенциальный риск, имеющий любую из этих вероятностей, стал бы проблемой первостепенной важности во всем мире.

Порой я представляю рисковый ландшафт, ориентируясь на пять серьезных рисков: ядерной войны, изменения климата, другого экологического ущерба, пандемий искусственного происхождения и неконтролируемого ИИ. Хотя я считаю последние два особенно важными, на мой взгляд, каждый из них с вероятностью не менее 1 к 1000 может в текущем столетии уничтожить потенциал человечества, а потому каждому из них необходимо противостоять силами всего мира, учитывая их вклад в общий уровень экзистенциального риска (в дополнение к другим убедительным причинам).

В целом я считаю, что вероятность экзистенциальной катастрофы в последующее столетие составляет примерно 1 к 6. Это не малая статистическая вероятность, которую нам следует держать в голове, как, например, вероятность погибнуть в дорожной аварии, а серьезная цифра, свидетельствующая о том, что действительно может произойти, сопоставимая с вероятностью выпадения любого из чисел на игральной кости или вероятностью неудачи в русской рулетке.

Риск велик, но наше положение вовсе не безнадежно. Оценка подразумевает, что в пяти случаях из шести человечество сумеет прожить следующую сотню лет, не растеряв свой долгосрочный потенциал. В связи с этим, хотя я считаю, что управление некоторыми рисками (скажем, рисками с вероятностью 1 к 1000 и выше) следует признать глобальной задачей первостепенной важности, я не говорю, что этот век станет для нас последним.

Что насчет более отдаленной перспективы? Если бы я был вынужден сделать прогноз, я бы сказал, что вероятность того, что человечество избежит всех экзистенциальных катастроф и реализует свой потенциал, то есть построит будущее, которое будет наиболее близко к наилучшему из возможных вариантов, составляет примерно 1 к 2^[470]. Из этого следует, что в моем представлении около трети экзистенциального риска для всего нашего будущего приходится на текущее столетие. Это показывает, что я оптимистично оцениваю вероятность того, что появится цивилизация, которая возьмется за ум, и того, что мы и станем такой цивилизацией – возможно, даже в этом веке.

В моих оценках, приведенных выше, действительно учитывается возможность, что мы возьмемся за ум и начнем со всей серьезностью подходить к этим рискам. Будущие риски часто оцениваются исходя из предпосылки, что жизнь продолжится “в привычном режиме”: что уровень нашего беспокойства и объем ресурсов, выделяемых на работу с рисками, останутся такими же, как сегодня. Если бы я допустил, что жизнь пойдет в привычном режиме, я бы присвоил рискам значительно более высокую вероятность. Но я думаю, что такие оценки были бы недостоверными и завышали бы истинную вероятность экзистенциальной катастрофы^[471]. В связи с этим я учел, что мы, скорее всего, примем меры в ответ на растущие риски и приложим значительные усилия, чтобы их снизить.