Искусственный интеллект

Для управления оракулом нужна довольно простая система мотивации, однако даже в этом случае возникают почти незаметные, но потенциально опасные проблемы. Предположим, нам необходимо точно сформулировать для ИИ значение фраз: «свести к минимуму свое воздействие на мир при достижении определенных результатов» и «для подготовки ответа использовать только определенные выделенные ресурсы». Что произойдет, если ИИ в ходе своего интеллектуального совершенствования устроит что-то вроде научной революции, изменив при этом свою базовую онтологию?4 Сначала нам надо дать определение таким понятиям, как «воздействие» и «выделенные ресурсы», в соответствии с нашей онтологией (постулируя существование различных физических объектов, в частности компьютеров). Но вдруг случается неожиданное: ИИ-оракул обнаруживает, что некоторые наши самые распространенные категории основаны на ложных представлениях — очень напоминает поведение людей, когда каждое новое поколение ученых пытается избавиться от онтологических категорий, введенных когда-то их предшественниками (кто сейчас помнит такие понятия, как «флогистон», «сила жизни» и «абсолютная одновременность»?). Система целеполагания ИИ, переживающего онтологический кризис, должна быть достаточно эластичной, чтобы он смог сохранить и суть, и дух своей первоначальной цели и бережно перенести этот багаж в новую систему ценностей.

Не всегда задача создать дружественный ИИ-оракул с помощью метода выбора мотивации может оказаться тривиальной — однако она все равно проще, чем задача разработать ИИ, обладающий свободой в достижении сложной цели. Кажется, это могло бы служить аргументом в пользу того, чтобы первым сверхразумом стал оракул. С ним легко работать, пользуясь так же методом контроля над возможностями, — чем не следующий аргумент­ в пользу увидеть именно оракула в роли первого сверхразума? К оракулу применимы все стандартные изоляционные методы. Кроме того, существуют методы, которые можно использовать, только имея дело с оракулом. Например, возможен риск, что, преследуя какие-то свои тайные планы, оракул начнет давать не очень достоверные ответы, явно тем самым стараясь манипулировать нашим сознанием. Есть замечательный способ снизить эту угрозу: создать множество оракулов, в легкой степени отличающихся друг от друга своими исходным кодом и базой данных. Затем с помощью простой функции сравнивать их ответы и передавать их заказчику только в случае, когда они все согласуются между собой. Правда, можно допустить, что любой универсальный сверхразумный оракул узнает о существовании других оракулов (выведет это из своих знаний о человеческом обществе), возможно, от него удастся скрыть некоторые детали их функционирования. Если оракулы не смогут связываться между собой, им будет трудно координировать ответы, чтобы манипулировать нами. Есть множество способов отклоняться от истины, и разные оракулы могут по-разному оценивать привлекательность каждого варианта — в то время как сама истина является фокальной точкой (по которой возможно достижение согласия в отсутствие коммуникаций между сторонами). Поэтому если оракулы придут к консенсусу, это может быть признаком, что они дают правдивый ответ5.

Мы можем полностью полагаться на ИИ-оракула, если знаем, что он использует все свои возможности, чтобы давать достоверные ответы. Но даже если мы не во всем доверяем ему, он был бы нам полезен. Оракулу можно было бы задавать вопросы, на которые трудно найти ответы, но легко проверить, правильные ли они. Например, многие математические задачи. Если вас интересует вопрос истинности какого-то математического утверждения, можно попросить оракула найти доказательство этому или опровергнуть его. Поиск самого доказательства может требовать проницательности и таланта, превышающего наши возможности, а его проверку можно выполнить при помощи простой механической процедуры.

Если окажется, что контролировать все ответы ИИ-оракула слишком дорого (скажем, когда вопросы не относятся к области логики и математики), для проверки можно выбирать случайные подмножества ответов. Если они окажутся верными, у нас появятся основания присвоить высокую вероятность тому, что верными являются и все остальные ответы. Эта хитрость поможет серьезно сэкономить в целом на определении степени достоверности ответов, которые было бы слишком затратно проверять по отдельности. (К сожалению, это ничего не скажет о достоверности ответов, которые мы неспособны проверить, поскольку решившийся на обман оракул может решить отвечать достоверно только на те вопросы, правильность ответов на которые мы, по его мнению, оценить в состоянии.)