На краю пропасти. Экзистенциальный риск и будущее человечества

Исследования экзистенциального риска находятся в зачаточной стадии. Мы только начинаем понимать, с какими рисками сталкиваемся и как лучше с ними работать. Что же касается концептуальных и моральных принципов, а также общей стратегии человечества в этом вопросе, мы находимся на еще более ранней стадии. Таким образом, мы пока не готовы к решительным действиям для защиты своего долгосрочного потенциала. В связи с этим очень важно продолжать исследования экзистенциального риска. Они помогут нам определить, какие из доступных мер следует принимать, и открыть абсолютно новые способы борьбы с риском, те, что мы прежде даже не рассматривали[566].

Часть исследований необходимо посвятить конкретным темам. Нам нужно лучше изучить экзистенциальные риски: узнать, насколько они вероятны, каковы их механизмы и как лучше всего снижать их. Хотя ведутся масштабные исследования ядерной войны, изменения климата и биологической безопасности, лишь малая их часть посвящена самым радикальным событиям в каждой сфере – событиям, которые представляют угрозу для всего человечества[567]. Точно так же необходимо значительно расширить технические исследования того, как настраивать ОИИ в соответствии с человеческими ценностями.

Кроме того, нужно лучше изучить, как работать с основными факторами риска, такими как война между великими державами и с основными факторами безопасности. Например, понять, как создавать более эффективные институты, которые смогут осуществлять международную координацию и представлять интересы будущих поколений. Или как повышать свою стойкость, чтобы увеличивать вероятность восстановления после несмертельных катастроф. Необходимо и искать новые факторы риска и безопасности, чтобы у нас появилось больше способов работы с экзистенциальным риском.

Параллельно исследованию множества конкретных тем нужно изучать и абстрактные вопросы. Нам следует лучше разобраться в том, что такое лонгтермизм, потенциал человечества и экзистенциальный риск: доработать концепции, сделав их максимально убедительными; выяснить, на какие этические основания они опираются и какие этические обязательства предполагают; и глубже изучить ключевые стратегические вопросы, стоящие перед человечеством.

Может показаться, что эти области слишком огромны и неприступны, но прогресс в них возможен. Вспомните идеи, которые мы обсуждали на страницах этой книги. Некоторые из них имеют весьма общий характер: обзор истории человечества на протяжении столетий, Пропасть и важность защиты будущего. Но многие можно свести к емким и четким тезисам. Например, что катастрофа, в которой погибнет 100 % населения, может быть гораздо хуже, чем катастрофа, в которой погибнет 99 % населения, поскольку в первом случае человечество лишится будущего; продолжительность существования человечества как вида свидетельствует, что вероятность природных рисков не слишком высока; что снижение экзистенциального риска, как правило, будет недополучать ресурсы, поскольку это межпоколенческое всеобщее общественное благо; или что риски состояния отличаются от рисков переходного периода. Уверен, со временем появится еще немало подобных идей. Чтобы прийти к ним, специальные знания, как правило, не нужны – достаточно аналитического ума, который ищет закономерности, инструменты и объяснения.

Возможно, это удивит вас, но для многих исследований экзистенциального риска уже доступно финансирование. Некоторые дальновидные филантропы воспринимают экзистенциальный риск всерьез и недавно начали спонсировать первоклассные исследования основных рисков и путей их устранения[568]. Так, проект “Открытая филантропия” профинансировал недавнее моделирование ядерной зимы, а также исследования безопасности технического ИИ, готовности к пандемии и изменения климата – и все с особенным вниманием к самым неблагоприятным сценариям[569]. На момент написания этой книги спонсоры проекта готовы финансировать и множество новых исследований, и сдерживают их не деньги, а недостаток хороших исследователей, желающих заняться соответствующими вопросами[570].

Открылось и несколько научных институтов для исследования экзистенциального риска. Например, кембриджский Центр изучения экзистенциального риска (CSER) и оксфордский Институт будущего человечества (FHI), где работаю я[571]. Такие организации позволяют ученым-единомышленникам, представляющим разные дисциплины, вместе разрабатывать научные, этические и стратегические аспекты защиты человечества.

Чего делать не стоит

В этой главе говорится о том, что делать, чтобы защитить наше будущее. Но ничуть не менее полезно узнать, чего делать не стоит. Вот несколько примеров.