На краю пропасти. Экзистенциальный риск и будущее человечества

И правда, что даст отсрочка итоговой катастрофы (скажем) на пару сотен лет с точки зрения возможных миллионов лет будущей эволюции? Отсрочка приобретает огромную ценность лишь в том случае, если использовать ее в качестве пространства для маневра, чтобы найти способ предотвратить итоговую катастрофу[552].

Я утверждаю, что мы оказались в текущей ситуации, поскольку человечество наращивает свою мощь гораздо быстрее, чем накапливает мудрость, что происходит, напротив, медленно и неровно. Если это действительно так, то замедление технологического прогресса должно дать нам пространство для маневра, чтобы мудрость получила шанс угнаться за мощью[553]. Если замедлить все аспекты нашего прогресса, то это, вероятно, лишь отложит катастрофу, но если сделать так, чтобы наша мощь росла медленнее по сравнению с мудростью, то это может существенным образом нам помочь.

На мой взгляд, более терпеливое и благоразумное человечество точно попыталось бы уменьшить этот разрыв. Главное, оно попыталось бы увеличить свою мудрость. Однако, если бы существовали пределы того, насколько быстро человечество может с этим справиться, было бы разумно замедлить рост его мощи – для этого необязательно нажимать на тормоз, достаточно немного ослабить давление на газ.

Мы убедились, что человечество напоминает подростка: его физические способности стремительно растут, но ему не хватает мудрости и самоконтроля, оно мало думает о своем долгосрочном будущем и имеет нездоровую тягу к риску. Когда речь идет о наших детях, общество специально ограничивает им доступ к сопряженным с риском технологиям: например, детям нельзя водить машину, пока они не достигнут определенного возраста и не сдадут экзамен на права.

Можно представить, как применить подобный подход к человечеству. Не запрещать определенные типы технологий, а применять их лишь после того, как мы докажем, что готовы к этому, поскольку выполнили заранее оговоренное условие. Например, не применять ядерные технологии, пока не пройдет сто лет с последней крупной войны. К несчастью, это очень трудно. В отличие от примера с детьми, здесь нет мудрых взрослых, которые устанавливают правила. Человечеству надо самому устанавливать правила для себя. Но те, кому недостает мудрости, обычно этого не понимают, а те, кому недостает терпения, вряд ли станут откладывать удовольствие до тех пор, пока не станут мудрее.

Хотя я считаю, что более зрелый мир действительно ограничил бы рост своих разрушительных способностей тем уровнем, на котором ими можно управлять, я не вижу смысла призывать к этому в настоящий момент. Чтобы предпринимать значительные усилия по замедлению прогресса, необходимо заключать международные соглашения между всеми ведущими игроками, поскольку в ином случае в наименее добросовестных странах работа просто продолжится. Мир очень далек от заключения таких соглашений, и потому немногочисленным людям, которых беспокоит экзистенциальный риск, нет смысла настаивать на замедлении, поскольку их усилия окажутся тщетными (а возможно, и контрпродуктивными).

Вместо этого нам стоит направить силы на лоббирование ответственного применения новых технологий и ответственного управления ими. Мы должны пояснить, что беспрецедентная власть, которую дают нам новые технологии, требует беспрецедентной ответственности: и для исполнителей, и для тех, кто отвечает за процесс.

Технологии колоссально повысили качество нашей жизни, но за это приходится платить. Они принесли с собой теневые издержки в форме риска[554]. Мы обращаем внимание на видимые выгоды, но накапливаем скрытый долг, который нам однажды, вероятно, нужно будет вернуть[555]. Если мы не замедлим темп технологического развития, то можем хотя бы пустить часть благ, которые оно дает нам, на обслуживание своего долга. Например, расходовать хотя бы 1 % выгод, которые приносят нам технологии, чтобы гарантировать, что дальнейший технологический прогресс не уничтожит потенциал человечества.