На краю пропасти. Экзистенциальный риск и будущее человечества

Все описанные необратимые дистопии можно считать заблокированными. Ключевые аспекты будущего цивилизации блокируются таким образом, что их становится практически невозможно изменить. Если мы оказываемся заблокированными в достаточно плохом наборе вариантов будущего, мы попадаем в необратимую дистопию – происходит экзистенциальная катастрофа.

Разумеется, мы сталкиваемся с подобным в меньших масштабах. Поправка Корвина к Конституции США – тревожный пример того, как люди попытались заблокировать ситуацию. В попытке задобрить Юг и избежать гражданской войны была предложена Тринадцатая поправка, которая должна была зафиксировать институт рабовладения, чтобы никакие будущие поправки к конституции не могли его отменить[449].

Я не вижу, каким образом мир мог бы погрузиться в дистопическое состояние в ближайшем будущем[450]. Однако по мере развития технологий и взаимосвязанности разных частей мира вероятность заблокированной дистопии, пожалуй, возрастет до заметного уровня в следующую сотню лет. Более того, я полагаю, что в отдаленном будущем на такие исходы, возможно, будет приходиться изрядная доля остаточного риска. Во-первых, они не столь очевидны, как другие риски, и потому, даже если мы возьмемся за ум и сделаем сохранение своего долгосрочного потенциала глобальным приоритетом, лишь незаурядная мудрость и рассудительность помогут нам избежать некоторых из этих ловушек. Во-вторых, если мы в конце концов расселимся за пределами Земли, это, вероятно, сделает нас почти неуязвимыми перед природными катастрофами, но идеи распространяются со скоростью света и могут все равно испортить то, чего мы надеемся достичь.

Главная проблема в том, что истинность идеи – лишь один элемент ее меметического потенциала, то есть ее способности распространяться и проникать в сознание. Но чем больше стимулов создается для обстоятельных и рациональных дебатов, тем больший вклад истинность вносит в меметический успех. Насаждая культуру таких дебатов, мы, возможно, нащупаем единственный путь, который поможет нам избежать такой судьбы. (Подробнее об этом читайте в разделе о долгом раздумье в главе 7.)

Понятие заблокированного состояния также позволяет нам рассмотреть экзистенциальный риск в другом любопытном ракурсе. Мы можем руководствоваться принципом минимизации блокировки. Или, чтобы избежать двойного отрицания, сохранения вариантов выбора[451]. Это тесно связано с идеей сохранения нашего долгосрочного потенциала, и разница лишь в том, что, сохраняя варианты выбора, мы не делим их на хорошие и плохие. И не потому, что в силу своей природы мы хотим сохранить даже плохие варианты, а потому, что мы не можем сказать наверняка, действительно ли они плохи, и, следовательно, рискуем совершить необратимую катастрофическую ошибку, если навсегда отринем тот из них, который был бы наилучшим.

Другие риски

Какие еще будущие риски дают прочные основания для беспокойства?

Одна из самых революционных технологий, которая, возможно, будет разработана в текущем столетии, – это нанотехнология. Мы уже стали свидетелями наступления эпохи наноматериалов (таких как углеродные нанотрубки), сконструированных с атомарной точностью при толщине всего в несколько атомов. Но гораздо более широкие перспективы откроются в случае, если мы сумеем создать механизмы, работающие с атомарной точностью. Мы точно знаем, что в некоторой форме это возможно, ведь в наших собственных клетках работают атомарно точные механизмы, которые уже выполняют жизненно важные функции.

В представлении людей нанотехнологии подразумевают создание микроскопических машин. Но настоящая революция может произойти тогда, когда наномеханизмы станут использоваться для создания макрообъектов. В своей основополагающей работе на эту тему Эрик Дрекслер описывает, как нанотехнологии могут открыть дорогу к появлению настольных фабрикаторов, способных собрать что угодно, от бриллиантового колье до нового ноутбука. Такое атомарно точное производство стало бы высшей ступенью 3D-печати: имея цифровой чертеж объекта и сырье в виде химических элементов, можно будет создавать атомарно точные копии. Это позволит производить объекты, для которых современных технологий пока недостаточно, а также снизить цены на то, что уже производится, например компьютеры и солнечные панели, почти до себестоимости сырья и материалов – и обеспечить мир гораздо большим объемом вычислительной мощности и чистой энергии.