Иногда не мешало бы иметь под рукой конкретные рекомендации, позволяющие выявлять, насколько корректен тот или иной ответ (или помогающие ориентироваться, где и как мы могли бы проверить правильность ответа), правда, мы не всегда можем доверять подобным советам. Например, по нашей просьбе оракул будет искать решения разных технических и философских проблем, которые могут возникнуть в процессе разработки более совершенных методы выбора мотивации. Если нам покажется, что предложенный оракулом проект безопасен, можно попросить его отыскать в нем серьезные недостатки и при наличии таковых описать каждый изъян при помощи не более двадцати слов. Вопросы такого рода способны обеспечить нас ценной информацией. Однако нам следует проявлять осторожность и сдерживать себя, чтобы не задавать
Даже если ИИ-оракул работает в полном соответствии с нашими требованиями и желаниями, существует риск, что им будут неправильно пользоваться. Одно из очевидных проявлений этой проблемы состоит в том, что оракул, наделенный сверхразумом, способен стать источником огромной власти и обеспечить своему оператору или программисту решающее стратегическое преимущество. Эта незаконная власть, скорее всего, будет использоваться отнюдь не в интересах общества. Не столь явный, но не менее важный аспект заключается в том, что постоянная работа с оракулом таит в себе огромную опасность для самого оператора. Все наши тревоги — как с мировоззренческой, так и технической точек зрения — имеют отношение и к остальным кастам сверхразума. Подробнее мы рассмотрим эту проблему в главе тринадцатой. Пока достаточно сказать, что чрезвычайно большое значение имел бы протокол, содержащий полную информацию о том, какие и в какой последовательности были заданы вопросы и какие были даны ответы. Можно подумать над тем, чтобы разработать такой вариант оракула, который будет отказываться отвечать на вопросы, если сочтет, что ответы могут иметь катастрофические последствия с точки зрения общепринятых в человеческом сообществе норм.
Джинны и монархи
Джинн — интеллектуальная система исполнения команд. Джинн получает команду высокого уровня, выполняет ее и останавливается в ожидании следующей команды6. Монарх — система, получившая мандат на любые действия в мире для достижения некоторых масштабных и, возможно, очень долгосрочных целей. Описания этих систем не очень напоминают то, что мы привыкли считать эталоном сверхразума, — но так кажется лишь на первый взгляд.
В случае ИИ-джинна приходится пожертвовать одним из самых привлекательных свойств оракула: возможностью использовать изоляционные методы. Можно, конечно, рассмотреть возможность разработки заблокированного джинна, способного создавать объекты лишь в некотором ограниченном пространстве — пространстве, окруженном стенами с мощными укрепительными системами или заминированными барьерами, которые должны сдетонировать в случае попытки побега. Трудно с уверенностью говорить о высокой безопасности такой физической изоляции, если речь идет о сверхразуме, вооруженном универсальными манипуляторами и инновационными конструкционными материалами. Даже если каким-то образом удастся обеспечить джинну такую же надежную изоляцию, как и оракулу, все равно не очень понятно, что мы выиграем, открыв сверхразуму прямой доступ к манипуляторам, вместо того чтобы получить от него подробные описания, которые можно было бы внимательно изучить, а затем использовать, чтобы получить требуемый результат самим. Выигрыш в скорости и удобстве из-за устранения человека-посредника вряд ли стоит потери возможности использовать более надежные методы блокировки, доступные в случае оракула.
Если кто-нибудь все-таки