На краю пропасти. Экзистенциальный риск и будущее человечества

Анкету разослали всем исследователям, которые заявили свои работы на две ведущие конференции по машинному обучению в 2015 году (NeurIPS и ICML). Данные получены из ответов 352 откликнувшихся исследователей (Grace et al., 2018).

409

Любопытно, что наблюдалось существенное и статистически значимое различие между сроками, которые называли исследователи с разных континентов. Исследователи из Северной Америки полагали, что вероятность достигнет 50 % за 74 года, а исследователи из Азии считали, что на это уйдет всего 30 лет (европейцы занимали промежуточную позицию).

Обратите также внимание, что приведенная оценка, вероятно, довольно ненадежна. Часть респондентов отвечала на вопрос, сформулированный несколько иначе (последствия для рынка труда оценивались через освоение любой профессии, а не выполнение любой задачи). Они оценили, что с вероятностью 50 % поставленное условие будет выполнено к 2138 году, а с вероятностью 10 % – уже к 2036 году. Я не знаю, как трактовать такое расхождение, но оно наталкивает на мысль, что к этим оценкам следует относиться осторожно.

410

Если брать за ориентир что либо другое, нужно полагать, что вы способны систематически прогнозировать успехи соответствующего научного сообщества лучше, чем оно само. Основанием для этого может служить чрезмерный оптимизм специалистов при оценке своих шансов достичь поставленных целей, однако не стоит забывать, что общественность ожидает появления ОИИ еще раньше (Zhang & Dafoe, 2019).

411

Эта аналогия не идеальна. Исследователи ИИ не пытаются создать новый вид и выпустить его в дикую природу, а разрабатывают новые сущности для решения проблем. Однако все большее их число применяет для этого интеллект общего назначения, в который заложены свобода выбора и способность к самостоятельным действиям. Как мы увидим, текущая парадигма ОИИ естественным образом приобретает дополнительную установку на захват контроля над миром, чтобы защитить себя и добиться своей цели.

Теоретически могло бы существовать несколько видов, каждый из которых вершил бы свою судьбу, но в таком случае их амбиции должны быть достаточно скромными, а силы – недостаточными для того, чтобы ощутимо мешать друг другу.

412

Вполне вероятно, что наши ценности в итоге сводятся к чему то простому, например к классической утилитаристской доктрине повышения суммы положительного опыта. Но даже здесь возникают две серьезных трудности. Во-первых, даже положительный опыт слишком сложен и плохо изучен, чтобы мы сегодня могли объяснить его агенту. Возможно, в будущем, когда мы поймем природу опыта, появится простая формулировка, но пока ее нет. Во-вторых, вопрос о том, считать ли классический утилитаризм лучшей моральной доктриной, остается предметом (ожесточенных) споров. Если применим его принципы и окажемся неправы – например, упустим другие ключевые характеристики жизненного блага или не сможем объяснить, как следует его оптимально распределять, – мы окажемся заперты в ловушке в гораздо менее приятном для жизни мире. Я симпатизирую классическому утилитаризму сильнее, чем большинство философов, но все равно не стал бы этим рисковать. Думаю, нам всем стоит всерьез воспринимать такую моральную неопределенность.

413

Лично я полагаю, что вообще то человеческие ценности во многом сходятся. Мы неспроста уделяем основное внимание различиям, а не тому факту, что почти все мы отдаем предпочтение более долгой, здоровой и благополучной жизни, контролю над своей судьбой, процветающей среде и так далее. Я бы предложил такую схему: обеспечить, чтобы ИИ-системы поддерживали жизненные ценности, которые не вызывают споров, но с осторожностью относились к оспариваемым и неоднозначным ценностям, а ответственность за разрешение этих споров и неоднозначности путем размышлений и дискуссий возложить на плечи людей будущего.

414

Повесть американского писателя-фантаста Джека Уильямсона (With Folded Hands, 1947). – Прим. ред.

415

Можно рассмотреть происходящее с технической точки зрения. Стюарт Рассел (2014) сравнивает это с распространенной проблемой оптимизации: “Система, которая оптимизирует функцию с числом переменных n, где функциональное требование зависит от подмножества размером k

Исследователи проблемы контроля сравнивают ситуацию с законом Гудхарта (Goodhart, 1975): “Любая наблюдаемая статистическая закономерность склонна к разрушению, как только на нее оказывается давление с целью управления”. Изначально этот закон был предложен для того, чтобы анализировать проблемы постановки целей, которые согласуются с нашими истинными желаниями. Хотя намеченные цели могут и выполняться, часто в процессе они перестают соответствовать тому, что нам действительно важно.

416