На краю пропасти. Экзистенциальный риск и будущее человечества

Кроме того, эта модель позволяет нам понять, как находить компромиссные соотношения этих показателей. Например, при выборе между двумя рисками, вероятности которых различаются в пять раз, эта разница в вероятности того, что они наступят, может быть превзойдена десятикратным увеличением объема финансирования. Модель предлагает руководствоваться таким общим принципом:

Пропорциональность

Когда набор рисков обладает одинаковой податливостью (или когда мы не знаем, какой из них податливее), в идеальном глобальном портфеле ресурсы распределяются между всеми рисками пропорционально их вкладу в общий риск^[495].

Но это не значит, что вам лично следует распределять свои ресурсы между ними пропорционально их вероятностям. Индивиду или группе следует вкладывать свои ресурсы так, чтобы способствовать приведению мирового портфеля в идеальное состояние. Часто это предполагает необходимость направить все силы на один риск – особенно учитывая, насколько ценна возможность посвятить ему свое безраздельное внимание.

Этот анализ дает нам отправную точку: предварительную оценку ценности выделения новых ресурсов на работу с риском. Но часто встречаются ресурсы, которые гораздо ценнее в применении к одному риску, чем к другому. Это особенно верно в отношении людей

. Биологу гораздо логичнее работать с риском пандемий искусственного происхождения, чем переучиваться для работы с риском ИИ. Получается, что в идеальном портфеле учитываются сравнительные преимущества людей. Кроме того, порой возникают подкрепленные ресурсами возможности помочь с конкретным риском. Каждый из этих показателей (соответствие профилю и подкрепленность ресурсами) может легко изменить ценность возможности в десять (и более) раз.

Рассмотрим еще три эвристических принципа для расстановки приоритетов: фокус на рисках, которые наступают рано, внезапно и

резко. Эти категории не конкурируют с важностью, податливостью и пренебрежением, а проливают на них новый свет.

Допустим, один риск наступает рано, а другой – поздно. При прочих равных в приоритете должен быть тот риск, который наступает рано^[496]. Одна причина в том, что с рисками, которые наступают позже, работать можно и позже, но с теми, что наступают раньше, это не получится. Другая – в том, что на работу с рисками, наступающими позже, вероятно, будет выделено больше ресурсов, поскольку человечество продолжит наращивать свою мощь и все больше людей будет понимать, в какой ситуации мы оказались. В результате рисками, наступающими позже, будут меньше пренебрегать. Наконец, нам понятнее, что делать с рисками, которые вот-вот наступят, в то время как с рисками, наступающими позже, мы вполне можем выбрать неправильный путь. Непредвиденные события в области технологий и политики в период до наступления риска могут изменить его природу, предложить более эффективные способы работы с ним или устранить его вообще, и тогда мы зря потратим свои силы на ранних этапах. Таким образом, риски, наступающие позже, в текущий момент характеризуются меньшей податливостью, чем риски, наступающие раньше.

Что, если один риск наступает внезапно, а другой – постепенно? При прочих равных в приоритете должен быть тот риск, который наступает внезапно. Риск, наступающий постепенно, с большей вероятностью привлечет внимание общественности и традиционных структур управления. В результате в долгосрочной перспективе им, скорее всего, будут меньше пренебрегать.

Некоторые экзистенциальные риски грозят нам катастрофами разных масштабов. В пандемиях могут гибнуть тысячи, миллионы или миллиарды человек, а диаметр астероидов варьируется от метров до километров. В каждом случае риски, судя по всему, распределяются по степенному закону, где катастрофы становятся значительно более редкими по мере увеличения масштабов. Это значит, что, скорее всего, мы столкнемся с пандемией или астероидом, которые убьют одну сотую населения Земли, прежде, чем с пандемией или астероидом, которые убьют одну десятую населения, а катастрофа, которая уничтожит одну десятую населения, будет предшествовать той, в которой погибнут почти все люди^[497]. Другие риски, например риск, сопряженный с неконтролируемым искусственным интеллектом, могут, напротив, угрожать полным исчезновением человечества. Давайте называть небольшую катастрофу “предупредительным выстрелом”, если она с большой долей вероятности может подтолкнуть человечество к серьезным полезным действиям ради устранения будущего риска такого типа. При прочих равных в приоритете должны быть внезапные риски, то есть те, перед которыми вряд ли прозвучат предупредительные выстрелы, поскольку эти риски с большей вероятностью не будут получать должного внимания в долгосрочной перспективе^[498].