Совместимость. Как контролировать искусственный интеллект

Определим ультраинтеллектуальную машину как машину, способную далеко обойти интеллектуальные усилия любого человека, сколь угодно умного. Поскольку конструирование машины — одно из таких интеллектуальных усилий, ультраинтеллектуальная машина могла бы сконструировать машины, значительно превосходящие интеллект человека; тогда, безусловно, произошло бы «взрывоподобное развитие ИИ» и интеллект человека остался бы далеко позади. Таким образом, первая ультраинтеллектуальная машина — это последнее изобретение, которое еще потребуется сделать человеку при условии, что машина достаточно послушна, чтобы сообщить нам, как удерживать ее под контролем. Любопытно, что этот момент так редко рассматривается вне научной фантастики.

Этот абзац описывает суть любого обсуждения сверхинтеллектуального ИИ, хотя сделанное в конце его предостережение обычно отбрасывается. Позицию Гуда можно подкрепить, заметив, что ультраинтеллектуальная машина не только может усовершенствовать свою конструкцию; скорее всего, она сделает

это, поскольку, как мы видели, интеллектуальная машина выиграет от улучшения своего аппаратного и программного обеспечения. Возможность взрывоподобного развития ИИ часто упоминается как главный источник опасности для человечества, потому что это дало бы нам совсем мало времени на решение проблемы контроля[197].

Аргумент Гуда, бесспорно, подкрепляется естественной аналогией с химическим взрывом, в котором реакция каждой молекулы высвобождает достаточно энергии, чтобы вызвать более одной дополнительной реакции. В то же время логически возможно, что у взрывоподобного развития интеллекта может быть убывающая отдача и мы получим затухающий процесс вместо взрыва[198]. Нет очевидного способа доказать, что взрыв обязательно

произойдет.

Сценарий убывающей отдачи по-своему интересен. Он мог бы возникнуть, если окажется, что достижение определенного уровня улучшения становится намного сложнее с ростом интеллектуальности машины. (Для упрощения я предполагаю, что универсальный машинный интеллект является измеримым по некоторой линейной шкале, что едва ли может быть верным.) В этом случае люди все равно не смогут создать сверхинтеллектуальность. Если машина, уже обладающая сверхчеловеческими возможностями, «выдыхается» в попытке развить собственный интеллект, значит, люди сойдут с дистанции еще раньше.

Далее, я никогда не слышал серьезного аргумента в пользу того, что создание любого заданного уровня машинного интеллекта попросту не под силу человеческой изобретательности, но думаю, что это следует считать логически возможным. «Логически возможно» и «я готов поставить на это будущее человечества», разумеется, совершенно не одно и то же. Ставить против человеческой изобретательности представляется проигрышной стратегией.

Если взрывоподобное развитие ИИ действительно произойдет и если мы к тому моменту не решим проблему управления машинами с интеллектом, лишь слегка превосходящим человеческий, — например, не сумеем запретить вышеописанное циклическое самосовершенствование, — тогда у нас не останется времени на решение проблемы контроля и все будет кончено. Это сценарий «быстрого взлета» у Бострома, согласно которому интеллектуальность машин ы колоссально возрастает за считаные дни или недели. По словам Тьюринга, «из-за этого, безусловно, есть основания тревожиться».

Возможными ответами на эту опасность представляются:

• отказ от исследования ИИ;

• отрицание того, что разработке продвинутого ИИ сопутствуют неизбежные риски;

• понимание и уменьшение рисков путем разработки ИИ-систем, гарантированно остающихся под контролем человека;

• самоустранение — просто оставление будущего за интеллектуальными машинами.