На краю пропасти. Экзистенциальный риск и будущее человечества

Так, завершая обсуждение экзистенциальных рисков в книге “Просвещение продолжается”, Стивен Пинкер обратился к природным рискам: “Наши предки ничего не могли противопоставить этим смертельным угрозам; мы же с вами, благодаря технологиям, живем не в самое опасное, а в самое безопасное время в истории”^[466]. Хотя Пинкер прав в том, что мы сталкиваемся со множеством природных угроз, а технологии снизили сопряженный с ними риск, нельзя из этого сделать вывод, что наше время стало исключительно безопасным. Понять почему поможет количественная оценка рисков.

Чтобы наше время стало исключительно безопасным, мы должны были бы снизить природный риск сильнее, чем повысили антропогенный. Однако, как мы увидели в главе 3, несмотря на огромное число смертей в результате природных катастроф, их совокупная вероятность, по-видимому, всегда оставалась крайне низкой (иначе вид вроде нашего просто не смог бы просуществовать так долго). Реалистичная оценка векового природного экзистенциального риска находится в диапазоне от 1 к 1 000 000 до 1 к 2000. Следовательно, нашим технологиям почти нечего снижать. Даже при самой высокой из этих оценок технологии не могут снизить природный риск сильнее, чем на одну двадцатую процентного пункта. И лишь невероятный оптимизм при взгляде в будущее может дать нам основания полагать, что антропогенный риск, с которым мы сталкиваемся, менее серьезен. Можем ли мы ожидать, что проживем еще 2000 таких веков, как этот? Можем ли мы быть на 99,95 % уверены, что протянем еще сто лет?

Таблица 6.1. Мои лучшие оценки вероятности экзистенциальной катастрофы по каждой из перечисленных причин в последующие 100 лет (если катастрофа имеет отложенный эффект, как в случае с изменением климата, я оцениваю вероятность того, что в ближайшие 100 лет будет пройдена точка невозврата). Погрешность этих оценок достаточно велика: их следует считать указанием на верный порядок величин, но каждая при этом вполне может оказаться в 3 раза выше или ниже. Обратите внимание, что цифры не совсем согласуются друг с другом, потому что иначе могло бы возникнуть ложное ощущение точности оценок, а также по неочевидным причинам, описанным в разделе “Объединение и сравнение рисков”.

В связи с этим я присвою рискам количественные вероятности и поясню, как их трактовать. В научном контексте количественные оценки порой безосновательно кажутся людям объективными или точными^[467]. Не считайте эти цифры совершенно объективными. Даже с таким хорошо изученным риском, как столкновение с астероидом, научные данные дают нам лишь часть информации: мы неплохо знаем, какова вероятность столкновения, но плохо представляем, какова вероятность того, что определенное столкновение уничтожит наше будущее. Не считайте оценки точными. Они нужны, чтобы показать верный порядок величин, а не более точную степень вероятности.

Цифры показывают мою степень уверенности в том, что каждая из катастроф случится в текущем столетии. Это значит, что в них находят отражение не только сведения и доводы из глав о рисках, но и вся совокупность знаний и суждений о каждом из рисков, которую невозможно в сжатой форме изложить на нескольких страницах. Их никак нельзя считать окончательными – скорее эти цифры представляют собой краткий конспект всего, что я знаю о рисковом ландшафте.

Одна из самых удивительных характеристик этого рискового ландшафта – огромная разница между вероятностями разных рисков. Одни риски в миллионы раз вероятнее других, и мало какие из рисков имеют вероятности одного порядка. Такая разница наблюдается и между разными классами рисков: по моим оценкам, антропогенные риски более чем в 1000 раз вероятнее природных^[468]. Из антропогенных рисков, на мой взгляд, риски, сопряженные с технологиями будущего, примерно в 100 раз серьезнее рисков, сопряженных с существующими технологиями, а следовательно, риски в третьей, четвертой и пятой главах расположены по мере роста их вероятности.

На первый взгляд такая неоднородность может показаться неожиданной, но в науке на удивление часто встречается подобное распределение, включающее цифры различных порядков, где основной вклад в целое вносят максимальные величины. Из-за этой неоднородности нам крайне важно отдавать приоритет работе с нужными рисками. Кроме того, именно поэтому наша оценка общего риска сильно зависит от оценки нескольких самых серьезных рисков (которые входят в число самых слабо изученных). В связи с этим ключевой задачей становится более глубокое изучение этих рисков и более точная их оценка.

На мой взгляд, самый серьезный риск для человеческого потенциала в ближайшее столетие представляет неконтролируемый искусственный интеллект, которому я присвоил вероятность 1 к 10. Может показаться странным, что вероятность такого умозрительного риска столь высока, поэтому не помешает объяснить, чем я руководствовался.