На краю пропасти. Экзистенциальный риск и будущее человечества

Можно представить, как применить подобный подход к человечеству. Не запрещать определенные типы технологий, а применять их лишь после того, как мы докажем, что готовы к этому, поскольку выполнили заранее оговоренное условие. Например, не применять ядерные технологии, пока не пройдет сто лет с последней крупной войны. К несчастью, это очень трудно. В отличие от примера с детьми, здесь нет мудрых взрослых, которые устанавливают правила. Человечеству надо самому устанавливать правила для себя. Но те, кому недостает мудрости, обычно этого не понимают, а те, кому недостает терпения, вряд ли станут откладывать удовольствие до тех пор, пока не станут мудрее.

Хотя я считаю, что более зрелый мир действительно ограничил бы рост своих разрушительных способностей тем уровнем, на котором ими можно управлять, я не вижу смысла призывать к этому в настоящий момент. Чтобы предпринимать значительные усилия по замедлению прогресса, необходимо заключать международные соглашения между всеми ведущими игроками, поскольку в ином случае в наименее добросовестных странах работа просто продолжится. Мир очень далек от заключения таких соглашений, и потому немногочисленным людям, которых беспокоит экзистенциальный риск, нет смысла настаивать на замедлении, поскольку их усилия окажутся тщетными (а возможно, и контрпродуктивными).

Вместо этого нам стоит направить силы на лоббирование ответственного применения новых технологий и ответственного управления ими. Мы должны пояснить, что беспрецедентная власть, которую дают нам новые технологии, требует беспрецедентной ответственности: и для исполнителей, и для тех, кто отвечает за процесс.

Технологии колоссально повысили качество нашей жизни, но за это приходится платить. Они принесли с собой теневые издержки в форме риска^[554]. Мы обращаем внимание на видимые выгоды, но накапливаем скрытый долг, который нам однажды, вероятно, нужно будет вернуть^[555]

. Если мы не замедлим темп технологического развития, то можем хотя бы пустить часть благ, которые оно дает нам, на обслуживание своего долга. Например, расходовать хотя бы 1 % выгод, которые приносят нам технологии, чтобы гарантировать, что дальнейший технологический прогресс не уничтожит потенциал человечества.

Осуществлять управление технологиями можно на многих уровнях. Очевиднее всего вверить его людям, которые и так управляют: политикам, гражданским службам и гражданскому обществу. Но мост можно строить с двух сторон, учитывая ценный вклад людей, работающих в соответствующих сферах науки и технологий: в университетах, в профессиональных обществах, а также в технологических компаниях. Те, кто занимаются технологиями на практике, могут уделять гораздо больше времени размышлениям об этических аспектах своей работы и работы своих коллег^[556]. Они могут разработать собственные руководства и внутренние правила. Кроме того, они могут сотрудничать с чиновниками, чтобы обеспечивать научную и технологическую состоятельность национальных и международных регламентов^[557].

Хорошим примером успешного регулирования служит Монреальский протокол, который определил сроки снятия с производства химических веществ, разрушающих озоновый слой. Его разработка шла очень быстро при тесном сотрудничестве ученых, чиновников и ведущих компаний, и Кофи Аннан назвал его “возможно, самым успешным международным соглашением на сегодняшний день”^[558].

Другой пример – Асиломарская конференция о рекомбинантной ДНК, на которой ведущие ученые отрасли рассмотрели новые опасные возможности, открывшиеся в ходе их работы. В результате они составили новые требования к безопасности дальнейших исследований и полностью запретили некоторые их направления^[559].

Любопытная, хотя и обойденная вниманием, сфера технологического регулирования – технологическое развитие^[560]

. Хотя предотвратить разработку рискованной технологии порой слишком сложно, мы можем попробовать снизить экзистенциальный риск, ускорив развитие защитных технологий в противовес опасным. Здесь в игру могут вступить спонсоры исследований, которые будут придерживаться этого принципа при объявлении конкурсов на финансирование и распределении грантов, добавляя веса защитным технологиям. Кроме того, это было бы полезно и для ученых, выбирающих из нескольких перспективных исследовательских программ.

Риски состояния и риски переходного периода

Если человечество каждое столетие сталкивается с серьезным риском, наше положение неустойчиво. Не стоит ли попытаться преодолеть этот рискованный период как можно скорее? Ответ зависит от того, с риском какого типа мы имеем дело.