Совместимость. Как контролировать искусственный интеллект

Неопределенность относительно человеческих целей может быть не единственным способом убедить робота не запрещать свое выключение, когда он подает кофе. Выдающийся логик Моше Варди предложил более простое решение на основе запрета[269]: вместо того чтобы ставить перед роботом цель «подавать кофе», задайте ему цель «подавать кофе, не препятствуя своему выключению». К сожалению, робот с такой целью будет удовлетворять букве закона, противореча его духу — например, окружив выключатель рвом с водой, кишащим пираньями, или просто ударяя током любого, кто пройдет возле выключателя. Написать такой запрет в форме, защищенной от дурака, — все равно что пытаться написать закон о налогообложении, в котором нет ни одной лазейки, — задача, над которой мы безуспешно бьемся не одну тысячу лет. Достаточно интеллектуальное существо с сильным стимулом избежать уплаты налогов, скорее всего, найдет такую возможность. Назовем это принципом лазейки: если достаточно интеллектуальная машина имеет стимул создать определенное условие, то в общем случае для простых людей станет невозможно создать запреты на эти действия, чтобы воспрепятствовать ей в этом или аналогичном действии.

Лучшее решение для предотвращения уклонения от уплаты налогов — гарантировать, чтобы рассматриваемое существо хотело платить налоги. В случае ИИ-системы, потенциально ведущей себя неправильно, лучшим решением будет гарантировать ее желание подчиняться людям.

Запросы и инструкции

На данный момент вывод представляется следующим: нам следует избегать «закладывать в машину цель», если воспользоваться словами Норберта Винера. Представим, однако, что робот все-таки получает от человека прямой приказ, например: «Подай мне чашку кофе!» Как робот должен понимать этот приказ?

В традиционном представлении такой приказ должен стать для робота целью. Любая последовательность действий, достигающая этой цели, — ведущая к тому, что человек получает чашку кофе, — считается решением. В типичной ситуации у робота также будет возможность ранжировать решения, вероятно, на основе затрачиваемого времени, преодоленного расстояния, стоимости и качества кофе.

Это очень буквальный способ понимания инструкции. Он может привести к патологическому поведению робота. Представим, например, что человек Гарриет остановилась на автозаправочной станции посреди пустыни; она посылает робота Робби за кофе, но на заправке кофе не продают, так что Робби катится со скоростью 4,5 км/ч в ближайший городок — за 300 км — и возвращается через десять дней с высохшими следами кофе на донышке чашки. Тем временем владелец автозаправки безотказно снабжает томящуюся в ожидании Гарриет чаем со льдом и колой.

Если бы Робби был человеком (или хорошо сконструированным роботом), он бы не интерпретировал команду Гарриет настолько буквально. Команда — это не цель, которая должна быть достигнута любой ценой. Это способ передачи некоторой информации о предпочтениях Гарриет с намерением добиться от Робби определенного поведения. Вопрос заключается в том, что это за информация.

Один из вариантов: это информация о том, что Гарриет предпочитает кофе отсутствию кофе при прочих равных условиях[270]. Это значит, что, если у Робби есть возможность достать кофе, ничего больше в мире не меняя, то сделать это будет правильно, даже если он не имеет ни малейшего представления о предпочтениях Гарриет в отношении других аспектов состояния среды. Поскольку мы ожидаем от машины состояния вечной неопределенности в плане человеческих предпочтений, приятно сознавать, что она тем не менее может быть полезной. Представляется, что изучение процессов планирования и принятия решений в условиях частичной и неопределенной информации о предпочтениях станет ядром исследования ИИ и разработки продукта.

В то же время при прочих равных условиях означает, что не разрешаются никакие другие изменения — например, идея прибавить кофе, в то же время убавив деньги, может быть как хорошей, так и плохой, если Робби ничего не знает об относительных предпочтениях Гарриет в плане кофе и денег.