На краю пропасти. Экзистенциальный риск и будущее человечества

Кроме того, сложность каждого следующего шага на пути к повышению интеллекта системы будет, возможно, расти быстрее, чем уровень ее интеллекта, и тогда потенциал “взрыва” быстро сойдет на нет. Предполагается, что в какой то момент он действительно должен сойти на нет, и поэтому главный вопрос в том, есть ли где то ближе к началу процесса промежуток, когда усовершенствования порождают еще большие усовершенствования. Подробнее об этом см. у Bostrom (2014, p. 66).

439

Metz (2018). Согласен и Стюарт Рассел (Flatow, Russell & Koch, 2014): “Я замечаю, что ведущие исследователи отрасли, которые никогда публично не высказывали никаких опасений, негласно полагают, что к этому вопросу нам следует относиться со всей серьезностью, причем чем раньше мы начнем воспринимать его всерьез, тем лучше”.

Советы Хассабиса и Рассела вторят заблаговременному предупреждению И. Дж. Гуда (1970): “Даже если вероятность появления ультраинтеллектуальной машины невелика, это приведет к таким серьезным последствиям, будь они хоть плохими, хоть хорошими, что нам пора бы рассматривать такую возможность. Как бы то ни было, я надеюсь, что к 1980 году мы успеем в деталях обсудить последствия этого и необходимые меры безопасности, и это главная причина, по которой я поднимаю этот вопрос: пора начинать дискуссию”.

Если бы мы последовали совету Гуда, сегодня мы, возможно, оказались бы на несколько десятилетий впереди, а грозящий нам риск был бы небольшим и хорошо контролируемым.

440

В худших случаях, возможно, даже имеющем отрицательную ценность – а такой исход хуже вымирания.

441

Orwell (1949, p. 121; перевод В. Голышева) четко это формулирует: “Правящая группа теряет власть по четырем причинам. Либо ее победил внешний враг, либо она правит так неумело, что массы поднимают восстание, либо она позволила образоваться сильной и недовольной группе средних, либо потеряла уверенность в себе и желание править. Причины эти не изолированные; обычно в той или иной степени сказываются все четыре. Правящий класс, который сможет предохраниться от них, удержит власть навсегда”.

442

Можно даже сказать, что таким стал первый в истории серьезный экзистенциальный риск. С этой точки зрения первая волна антропогенного экзистенциального риска поднялась из за этих опасных идеологий, которые были открыты совсем недавно, и глобализованный мир, возможно, не в силах будет ее сдержать. Технологические риски (начиная с ядерного оружия) представляют собой вторую волну.

В поддержку этой идеи можно вспомнить о характерной для нацистской Германии риторике о “тысячелетнем рейхе” как свидетельстве стремления создать поистине устойчивый режим. Обратите внимание, что вероятность этого не должна быть особенно высокой, чтобы принимать ее в расчет: вероятно, хватит и одного шанса на тысячу (поскольку это больше, чем годовой природный риск).

Хотя “1984” – художественное произведение, оно свидетельствует, что Оруэлла беспокоила вероятность поистине экзистенциальной катастрофы. Он нарисовал картину мира, пребывающего в состоянии постоянного конфликта между тремя тоталитарными сверхдержавами, каждая из которых коварными социальными и технологическими средствами подавляет любые намеки на сопротивление. Ключевой аспект этой картины в том, что в ней, вероятно, воплотилась необратимая дистопия: “Если вам нужен образ будущего, вообразите сапог, топчущий лицо человека – вечно”. Предвосхищая идею об экзистенциальном риске, он сравнил такой исход с вымиранием: “Если вы человек, Уинстон, вы – последний человек. Ваш вид вымер; мы наследуем Землю. Вы понимаете, что вы один? Вы вне истории, вы не существуете”.

Хотя книга была опубликована в 1949 году, письма военного времени показывают, что Оруэлла действительно тревожили такие перспективы (это были не просто умозрительные построения) и многие его идеи появились еще до создания ядерного оружия (Orwell, 2013). В примере Оруэлла почти ни у кого – даже у элит – не осталось в жизни ничего поистине ценного. Это один из возможных исходов – но ясно, что и менее радикальные могут быть дистопическими, поскольку обнищание масс вполне может перевесить обогащение избранных.

Я считаю, что Оруэлл рисует правдоподобную картину, но в целом я все равно склонен считать первым серьезным (и антропогенным) экзистенциальным риском ядерное оружие (либо из за угрозы воспламенения атмосферы, либо из за угрозы мировой ядерной войны).

443

Обратите, однако, внимание, что, даже если изначально глобальная экспансия не входила в их планы, развитие все равно могло пойти в этом направлении, как только они обеспечили бы себе такую возможность. Даже если сначала у них были средства только для того, чтобы построить режим, способный держаться десятилетиями, это давало время, чтобы разработать технологические и социальные методы, чтобы десятилетия стали веками. За это время режим продолжил бы укрепляться и дальше.

444

Скотт Александер убедительно анализирует такие возможности в книге “Размышления о Молохе” (2014).

445