На краю пропасти. Экзистенциальный риск и будущее человечества

Но существуют и другие риски[563]. Есть риски переходного периода, которые возникают в процессе перехода к новому технологическому или общественному режиму. Например, таковы риски, связанные с разработкой и применением прогрессивного ОИИ, а также риски изменения климата при переходе нашей цивилизации в высокоэнергетическое состояние. Ускорение перехода никак не может способствовать снижению этих рисков, зато легко может их повысить. Но если переход необходим или весьма желателен, нам, возможно, придется в какой-то момент его совершить, поэтому попытка оттянуть его не решит проблему, а возможно, даже усугубит. Как правило, при работе с такими рисками рекомендуется не спешить, но и не медлить, проявляя дальновидность и осмотрительность.

Мы сталкиваемся с целым рядом рисков, включая риски состояния и риски переходного периода[564]. Однако, если я прав, риски переходного периода гораздо выше, чем риски состояния (главным образом потому, что в первую категорию входит больше антропогенных рисков). Это позволяет сделать вывод, что ускорение общего технологического прогресса неоправданно. В целом баланс определяется нашим желанием обеспечить экзистенциальную безопасность, вызвав как можно меньше кумулятивного риска. Я подозреваю, что для этого нам лучше всего ускорить развитие именно тех областей науки и техники, которые помогут нам справиться с крупнейшими рисками состояния, а также проявлять дальновидность и осторожность, направляя скоординированные усилия на работу с крупнейшими рисками переходного периода.

Хотя сейчас наше положение неустойчиво, это не значит, что решение проблемы в том, чтобы как можно скорее снизить годовой риск до приемлемого уровня. Наша главная цель – устойчивость в долгосрочной перспективе: мы должны защитить потенциал человечества, чтобы обеспечить себе максимальные шансы реализовать его в грядущие эпохи. Следовательно, правильная устойчивость не означает, что нужно как можно быстрее прийти в устойчивое состояние, – нужно встать на устойчивую траекторию, где риски, возникающие на пути, будут уравновешиваться защитой, которую мы в итоге обретем[565]. Вероятно, для этого придется идти на дополнительные риски в краткосрочной перспективе, но только если они в достаточной степени снижают риски в долгосрочной перспективе.

Исследования экзистенциального риска