Искусственный интеллект

Источник огромной власти (могут обес­печить оператору решающее стратегическое преимущество).

Ограниченная защита от неправильного использования оператором.

Ненадежных оракулов можно было бы использовать для получения ответов на вопросы, которые трудно отыскать, но легко проверить.

Облегченную форму проверки ответов можно было бы проводить за счет использования множества оракулов

Джинн

Система исполнения команд

Отчасти применимы изоляционные методы (для пространственно ограниченных джиннов).

Отчасти применим метод приручения.

Джинны могут прогнозировать наиболее характерные проблемы и запрашивать подтверждение на выполнение команд

Варианты: джинны, использующие различные «дистанции экстраполяции» или степени следования скорее духу, нежели букве команд; джинны, ограниченные отдельными областями знаний; джинны, отказывающиеся выполнять команды, если они предсказывают, что их выполнение отвечает некоторому заранее определенному критерию «бедствия»

Джинны могли бы разбивать выполнение команд на этапы, чтобы контролировать промежуточные результаты.

Источник огромной власти (могут обес­печить оператора решающим стратегическим преимуществом).

Ограниченная защита от неправильного использования оператором.

Большая потребность понимать человеческие намерения и интересы (по сравнению с оракулами)

Монарх

Система, предназначенная для независимого выполнения автономных опе­раций

Изоляционные методы неприменимы.

Большинство других методов контроля над возможностями также неприменимы (за исключением социальной интеграции и антропного захвата).

Метод приручения в большинстве случаев неприменим.

Высокая потребность в понимании истинных человеческих намерений и интересов.

Необходимость правильной реализации с первого раза (в принципе, в той или иной степени это верно для всех каст)

Варианты: многие возможные системы мотивации; возможность использования оценки и «ратификации организатором» (см. главу 13)

Потенциально источник огромной власти для организатора, включая решающее стратегическое преимущество.

После активации не подвержен взлому со стороны оператора и может быть снабжен некоторой защитой от неправомерного использования. Может использоваться для реализации исходов типа «вуаль неведения» (см. главу 13).

Могут быть применимы изоляционные методы в зависимости от реализации.

При разработке и функционировании машинного сверхразума, скорее всего, будут использоваться мощные поисковые процессы

Инструмент

Система, не предназначенная для целенаправленного поведения

Мощный поиск с целью найти решение, удовлетворяющее некоторым формальным критериям, может привести к открытию решения, которое отвечает этим критериям незапланированным и опасным способом

Мощный поиск может включать в себя вторичный, внутренний поиск и процессы планирования, которые выявят опасные способы проведения основного поиска

Для определения, какой тип системы будет самым безопасным, требуется проведение дополнительных исследований. Ответ может зависеть от условий, при которых используется ИИ. Каста оракулов, очевидно, привлекательна с точки зрения безопасности, поскольку к оракулам применимы и методы контроля над возможностями, и методы выбора мотивации. В этом смысле может показаться, что оракулы предпочтительнее монархов, которым подходят лишь методы выбора мотивации (за исключением ситуаций, когда в мире существуют и другие мощные сверхразумные системы, — в этом случае могут применять социальную интеграцию или антропный захват). Однако оракул может дать оператору слишком большую власть, что опасно в случае коррумпированного или неблагоразумного оператора, в то время как монарх дает некоторую возможность защититься от таких неприятностей. Так что ранжирование каст с точки зрения безопасности не столь очевидно.

Джинна можно считать компромиссным решением, но выбор в пользу джинна не всегда будет удачным. Во многих отношениях ему свойственны недостатки обеих каст. Кажущаяся безопасность ИИ-инструмента также может быть иллюзорной. Чтобы такая система могла стать достаточно универсальной и заменить сверхразумного агента, она должна включать в себя чрезвычайно мощные процессы внутреннего поиска и планирования. Эти процессы могут иметь незапланированные последствия в виде поведения агентского типа. В этом случае было бы лучше сразу разрабатывать систему как агента, чтобы программисты могли четче видеть, какие критерии определяют результаты ее работы.

Глава одиннадцатая

Сценарии многополярного мира