На краю пропасти. Экзистенциальный риск и будущее человечества

Такая мощная технология может представлять некоторый экзистенциальный риск. Основное внимание пока уделяется возможности создания крошечных самовоспроизводящихся машин, распространение которых может привести к экологической катастрофе. Такое, пожалуй, возможно, но существуют и более приземленные опасности, которые кажутся более вероятными, поскольку огромная производственная мощность и точность, скорее всего, также проложат дорогу к производству нового оружия массового уничтожения[452]. Проблемы в этой области, в сущности, напоминают проблемы продвинутых биотехнологий: демократизация исключительно мощных технологий может наделить индивидов или небольшие группы возможностями (как конструктивными, так и деструктивными), которыми прежде обладали лишь могущественные державы. Контроль за этими технологиями, вероятно, можно будет осуществлять либо цифровыми методами, определяя, что подлежит производству, либо с помощью государственного надзора над производством (как в случае с атомной энергетикой). Хотя эти технологии более умозрительны, чем продвинутые биотехнологии и ИИ, со временем они тоже могут стать источником серьезного риска.

Совсем другой риск может быть связан с нашими исследованиями за пределами Земли. Космические агентства планируют экспедиции на Марс, чтобы доставить оттуда на Землю образцы грунта, главным образом для поиска признаков жизни. Это создает возможность “обратного загрязнения”, в результате которого микробы с Марса подвергнут опасности земную биосферу. Хотя все сходятся во мнении, что риск крайне мал, к нему относятся со всей серьезностью[453]. Планируется, что такие образцы будут доставлены в лабораторию уровня BSL-4 нового типа, чтобы вероятность того, что хоть одна нестерильная частица попадет в окружающую среду, не превысила одного к миллиону[454]. Хотя многие факторы остаются неизвестными, этот антропогенный риск представляется сравнительно невысоким и хорошо контролируемым[455].

Внеземной риск, который стоит на первом плане в популярной культуре, связан с конфликтом с инопланетной цивилизацией, способной путешествовать по космосу. Хотя очень сложно однозначно исключить такую возможность, широко признается, что такой сценарий крайне маловероятен (но становится более правдоподобным в исключительно долгосрочной перспективе)[456]. В популярной культуре главный риск сопряжен с прибытием инопланетян на Землю, но это, пожалуй, наименее вероятно и совсем не поддается нашему контролю. Однако, возможно, нам следует провести открытую дискуссию, прежде чем приступать к реализации активной части проекта SETI (отправке мощных сигналов для привлечения внимания далеких внеземных цивилизаций). Опасность может представлять даже пассивная часть проекта (прослушивание их сообщений), ведь сообщения вполне могут оказаться ловушкой[457]. Эти опасности невелики, но пока плохо изучены и плохо контролируемы.

Другой антропогенный риск сопряжен с самыми радикальными из наших научных экспериментов – теми, в которых создаются поистине беспрецедентные условия[458]. Так, при первом ядерном взрыве температура дошла до отметки, которой никогда прежде на Земле не наблюдалось, и появилась теоретическая возможность воспламенения атмосферы. Поскольку эти условия были беспрецедентными, мы не могли утешаться тем, что такое случалось уже много раз и не приводило к катастрофе. (Можно сказать, что часть рисков, о которых мы упоминали ранее, например обратное загрязнение, исследования с повышением вирулентности и ОИИ, также сопряжена с научными экспериментами, создающими беспрецедентные условия.)

В некоторых случаях ученые уверенно заявляют, что эксперимент не может вызвать катастрофу или вымирание. Но в прошлом даже то, что наука воспринимала как данность, порой оказывалось неверным: например, что объекты имеют определенное положение, что пространство подчиняется Евклидовой геометрии и что атомы невозможно делить, создавать и уничтожать. Если на ученых надавить, они признаются, что на самом деле имеют в виду, что такое не может произойти, если не будут существенным образом изменены наши научные теории. В обычных обстоятельствах такой уверенности достаточно, ведь при стремлении к точности уверенность в 99,9 % нас вполне удовлетворяет. Но этот стандарт не учитывает, что стоит на кону. В нашем случае ставки исключительно высоки, поэтому нам нужен стандарт, который будет принимать это в расчет[459].

Как правило, ожидаемые выигрыши сравнивают с ожидаемыми потерями. Но применить этот метод непросто, поскольку очень низкую (и плохо поддающуюся количественной оценке) вероятность колоссальной катастрофы необходимо сопоставлять с ощутимыми преимуществами, которые эксперименты уже принесли и, вероятно, принесут снова. Кроме того, знания или технологии, получаемые в результате экспериментов, могут помочь снизить будущий экзистенциальный риск или оказаться необходимыми для реализации нашего потенциала.