На краю пропасти. Экзистенциальный риск и будущее человечества

Даже если рассуждать о будущем в пессимистическом ключе и иметь отрицательные ожидания, полагая, что наши будущие взлеты более чем уравновешиваются возможными падениями, все равно найдется веское основание оберегать наш потенциал[125]. Начнем с того, что некоторые экзистенциальные катастрофы (например, вечный мировой тоталитаризм) при любом раскладе останутся неоспоримо ужасными, а потому заслуживающими нашего внимания. Но есть и более глубокая причина. При такой логике невероятную ценность приобретает получение информации о том, каким окажется наше будущее – благополучным или провальным. А поэтому лучше на всякий случай оберегать человечество, пока у нас не появится гораздо больше данных для ответа на этот важнейший вопрос[126].

Наши потомки будут лучше осведомлены не только о ценности будущего. Сегодня у нас по-прежнему не так уж много опыта. Мы еще не набили руку в решении таких сложных задач, как управление глобальной цивилизацией и всей планетой. Наша картина будущего затуманена нашим невежеством и искажена предвзятостью. Но если все пойдет хорошо, наши потомки будут гораздо мудрее нас. У них будет время гораздо лучше разобраться в положении человечества; они будут набираться сил и знаний у более справедливой, умелой и зрелой цивилизации; принимая решения, они, как правило, будут лучше понимать, что стоит на кону. В связи с этим сегодня – возможно, на самых ранних этапах истории – нам лучше не забывать о скромности, не торопиться с выбором и делать все возможное, чтобы наши потомки получили шанс, прозрев, принимать более взвешенные решения, чем мы сейчас[127].

Как мы пренебрегаем экзистенциальными рисками

Мир только начинает осознавать важность экзистенциального риска. Мы уже приступили к оценке самых значимых угроз и ищем способы их избежать, но добиться того, чтобы масштаб нашей деятельности соответствовал масштабу проблем, нам только предстоит. В контексте общего распределения глобальных ресурсов экзистенциальным риском прискорбно пренебрегают.

Рассмотрим возможность искусственной пандемии, входящую, как мы скоро увидим, в число самых серьезных рисков, с которыми сталкивается человечество. Годовой бюджет международного органа, ответственного за запрет биологического оружия (Конвенции о биологическом оружии), составляет всего 1,4 млн долларов, а это меньше бюджета среднего “Макдональдса”[128]. Все расходы на снижение экзистенциальных рисков, связанных с продвинутым искусственным интеллектом, ограничиваются десятками миллионов долларов, в то время как на развитие искусственного интеллекта выделяются миллиарды долларов[129]. Сложно точно измерить мировые расходы на снижение экзистенциального риска, но можно с уверенностью сказать, что человечество из года в год больше тратит на мороженое, чем на обеспечение того, чтобы разрабатываемые нами технологии нас не уничтожили[130].

В научных исследованиях ситуация примерно такая же. Подробно изучается риск небольших катастроф, но катастрофы, способные уничтожить долгосрочный потенциал человечества, остаются без внимания. В период с 1991 года было опубликовано лишь две климатические модели, показывающие эффекты полноценной ядерной войны между США и Россией, несмотря на то, что в считаные минуты может быть осуществлен пуск целых сотен ракет[131]. Проводится огромная работа по исследованию изменения климата, но худшие сценарии – например, предполагающие потепление более чем на шесть градусов – изучаются сравнительно мало и обычно остаются без внимания в официальных докладах и при обсуждении стратегических планов[132].

Почему же стратегические риски не получают должного внимания, хотя они реальны и настолько значимы? Почему ими систематически пренебрегают? Ответы можно найти в экономике, политике, психологии и истории экзистенциального риска.

Экономическая теория говорит нам, что рынки, страны и целые поколения будут недооценивать экзистенциальный риск. Хотя рынки прекрасно справляются с тем, чтобы поставлять самые разные виды товаров и услуг, некоторые виды систематически поставляются в недостаточном количестве. Рассмотрим чистый воздух. Когда качество воздуха повышается, выгоду получает не конкретный индивид, а все члены общества. Когда я получаю выгоду от более чистого воздуха, это не уменьшает выгоду, которую приобретаете в такой ситуации вы. Вещи, обладающие двумя такими характеристиками, называются общественными благами, и рынки плохо справляются с их поставкой[133]. Как правило, мы решаем эту проблему на местном или национальном уровне, вверяя правительству задачу финансировать или регулировать обеспечение общественных благ.