На краю пропасти. Экзистенциальный риск и будущее человечества

В то же время технологии дают людям и новые инструменты, чтобы восставать против власти, такие как интернет и шифрование сообщений. Возможно, баланс сил сохранится, а возможно, сместится в сторону свободы, но есть немалая вероятность, что он сдвинется в сторону усиления контроля над населением, в результате чего появление вынужденных дистопий станет реалистичным сценарием.

Второй тип необратимой дистопии – стабильная цивилизация, которую хотят немногие (если вообще хоть кто-то). Легко понять, как такой исход может стать дистопичным, однако не слишком очевидно, как мы можем к нему прийти или в нем застрять, если большинство людей (или вообще никто) его не хочет[444].

Ответ связан с различными силами, которые воздействуют на все население и могут оказывать влияние на глобальные исходы. К хорошо известным примерам относятся рыночные механизмы, запускающие гонку по нисходящей, мальтузианская демографическая динамика, снижающая среднее качество жизни, и эволюция, которая нацеливает нас на распространение собственных генов вне зависимости от того, как это сказывается на наших ценностях. Эти силы подталкивают человечество к новому балансу, который наконец приведет их в равновесие. Но никто не гарантирует, что этот баланс окажется благоприятным для человека.

Рассмотрим, например, противоречие между личным и общественным благом. В теории игр его изучают с помощью таких “игр”, как дилемма заключенного и трагедия общих ресурсов, где действия индивидов, которые руководствуются личными мотивами, приводят к ужасному исходу для общества. Равновесие Нэша (исход, к которому мы приходим, если руководствуемся личными мотивами) может быть для всех гораздо хуже, чем какой-нибудь другой результат, которого мы могли бы достичь, если бы смогли преодолеть личные интересы.

Самый известный пример – причинение ущерба окружающей среде, например ее загрязнение. Поскольку основная часть издержек загрязнения окружающей среды не ложится на плечи того, кто ее загрязняет, мы можем оказаться в ситуации, где в личных интересах каждого будет продолжать загрязнение несмотря на то, что в результате всем оказывается хуже. Лишь значительный нравственный прогресс и действенные политические инициативы помогли нам вырваться из этого состояния. Мы можем попасть и в другие ловушки, выбраться из которых окажется еще труднее. Это может произойти как на уровне индивидов, так и на уровне групп. Целые страны, идеологические блоки, даже планеты или виды, которые придут на смену Homo sapiens, могут оказаться в ситуации, когда будут поступать в интересах своей группы, но вредить всем группам в целом.

Я не знаю, насколько вероятно, что мы столкнемся с достаточно серьезной (и достаточно неуправляемой) трагедией общих ресурсов такого свойства. Или выродимся под давлением эволюции, или вынуждены будем жить в нищете из-за мальтузианской демографической динамики, или окажемся в другой подобной ситуации. Мне хочется надеяться, что мы сумеем предвидеть такие проблемы заранее и скоординировать свои действия, чтобы найти решение. Но сложно сказать наверняка, что у нас все получится.

Третий сценарий – “желанная дистопия”[445]. Здесь нам проще понять, как всеобщее желание достичь определенного результата может завести нас в тупик, но при этом не столь ясно, почему этот результат окажется дистопичным. Проблема в том, что существует множество привлекательных идей, способных радикально изменить наше будущее, и особенно сильны в этом отношении идеологии и моральные учения, поскольку они прямо говорят нам, какой мир мы должны создавать. В сочетании с техническими и социальными средствами для внушения таких же идей следующему поколению (индоктринация, слежка) это может привести к катастрофе.

История полна примеров, когда огромные пространства оказывались во власти ущербных идеологий и моральных установок. Более того, даже приемлемые нормативные установки часто требуют фиксации, ведь иначе конкурирующие установки могут одержать верх, что (предположительно) приведет к катастрофическому исходу[446]. Хотя самые оправданные моральные установки часто не противоречат друг другу в вопросе о том, какие мелкие изменения идут на благо, а какие – во вред миру, они, как правило, расходятся в описаниях оптимального мира для жизни. Таким образом, эта проблема перекликается с проблемой контроля ИИ, где упорное стремление к верному по большей части идеалу может обернуться катастрофой.

Вот несколько вполне правдоподобных примеров: миры, полностью отказавшиеся от дальнейшего технологического прогресса (что гарантирует нашу гибель при реализации природных рисков)[447]; миры, не признающие какую-либо ключевую форму вреда или несправедливости (и потому слепо потворствующие ей); миры, замкнувшиеся в единственной фундаменталистской религии, и миры, где мы намеренно заменяем себя чем-то, что гораздо менее ценно, хотя мы этого не понимаем (например, машинами, которые неспособны чувствовать)[448].