На краю пропасти. Экзистенциальный риск и будущее человечества

Некоторые риски связаны с пребыванием в уязвимом состоянии. Назовем их рисками состояния^[561]. В эту категорию входят многие природные риски. Человечество остается уязвимым для астероидов, комет, мегаизвержений, взрывов сверхновых и гамма-всплесков. Чем дольше мы пребываем в состоянии, где мы уязвимы и находимся под угрозой, тем выше совокупная вероятность того, что нам не удастся устоять. Вероятность нашего выживания на протяжении длительного времени описывается падающей экспонентой, и период, за который она уменьшается вдвое, определяется уровнем годового риска^[562]. В случае с рисками состояния чем раньше мы справимся со своей уязвимостью, тем лучше. Если для этого нам необходимы технологии, нужно как можно быстрее их разработать.

Но существуют и другие риски^[563]. Есть риски переходного периода, которые возникают в процессе перехода к новому технологическому или общественному режиму. Например, таковы риски, связанные с разработкой и применением прогрессивного ОИИ, а также риски изменения климата при переходе нашей цивилизации в высокоэнергетическое состояние. Ускорение перехода никак не может способствовать снижению этих рисков, зато легко может их повысить. Но если переход необходим или весьма желателен, нам, возможно, придется в какой-то момент его совершить, поэтому попытка оттянуть его не решит проблему, а возможно, даже усугубит. Как правило, при работе с такими рисками рекомендуется не спешить, но и не медлить, проявляя дальновидность и осмотрительность.

Мы сталкиваемся с целым рядом рисков, включая риски состояния и риски переходного периода^[564]. Однако, если я прав, риски переходного периода гораздо выше, чем риски состояния (главным образом потому, что в первую категорию входит больше антропогенных рисков). Это позволяет сделать вывод, что ускорение общего технологического прогресса неоправданно. В целом баланс определяется нашим желанием обеспечить экзистенциальную безопасность, вызвав как можно меньше кумулятивного риска. Я подозреваю, что для этого нам лучше всего ускорить развитие именно тех областей науки и техники, которые помогут нам справиться с крупнейшими рисками состояния, а также проявлять дальновидность и осторожность, направляя скоординированные усилия на работу с крупнейшими рисками переходного периода.