Искусственный интеллект – надежды и опасения

Наконец, точно так же, как роботам нужно предвидеть дальнейшие поступки людей, людям придется учиться предугадывать действия роботов. Вот почему важна прозрачность отношений. Необходимы надежные ментальные модели человеческого и роботического поведения. Модель робота, присутствующая у человека, должна входить в наши описания состояний, а робот должен понимать, как его действия изменят эту модель. Подобно тому как робот рассматривает человеческие действия как ключи к «внутренним» состояниям человека, люди изменяют свои представления о роботах, наблюдая за действиями последних. К сожалению, роботам несвойственно полагаться на подсказки в той же мере, в какой к этому склонны люди; ведь у нас в избытке практики неявного общения с другими людьми. Но если роботы научатся учитывать изменения вследствие своих действий в ментальной модели человека, это может способствовать более тщательному осмыслению действий, содержащих правильные подсказки – то есть таких, которые прямо сообщают людям о намерениях робота, его функциях вознаграждения и ограничениях. Например, робот может изменить направление движения при перемещении тяжестей, чтобы показать, как ему непросто маневрировать при работе с тяжелыми предметами. Чем больше люди будут знать о роботах, тем проще станет координировать действия.

Для достижения совместимости от роботов потребуется умение предвидеть человеческие поступки и осознавать, как эти поступки повлияют на их собственные действия, а людям придется научиться предугадывать действия роботов. Текущие исследования в этой области достигли определенного прогресса, но нам еще предстоит сделать очень и очень многое.

Проблема выравнивания ценностей: люди контролируют функции вознаграждения роботов.

Стремление к наделению роботов способностью оптимизировать вознаграждение подразумевает упорный труд проектировщиков для определения правильной награды за такую оптимизацию. Первоначально предполагалось, что для любой задачи, выполнения которой мы ждем от робота, достаточно прописать функцию вознаграждения, стимулирующую нужное его поведение. К сожалению, часто бывает так, что мы задаем некую функцию вознаграждения, а поведение робота в результате оптимизации не соответствует нашим ожиданиям. «Интуитивные» функции вознаграждения в сочетании с необычными вариантами задач могут привести к контринтуитивному поведению. Вы награждаете агента-участника скачек некоторым количеством очков, а он обнаруживает лазейку, которую использует для получения бесконечного количества очков без фактической победы в состязании. Стюарт Рассел и Питер Норвиг приводят прекрасный пример в книге «Искусственный интеллект: современный подход»: если поощрять робота-уборщика за количество собранной пыли, то робот может решить вывалить собранную пыль обратно, чтобы всосать ее снова и получить большее вознаграждение.

В целом людям, как известно испокон веков, крайне сложно сообразить, чего именно они хотят, и как раз об этом говорят многочисленные предания о джиннах. Парадигма ИИ, в контексте которой роботы удостаиваются определенной награды извне, не оправдывает себя, когда такая награда не до конца продумана. Она способна подтолкнуть робота к неправильному поведению и даже к противодействию нашим попыткам исправить его поведение, поскольку они чреваты уменьшением вознаграждения.

Казалось бы, лучшей парадигмой для роботов будет оптимизация согласно нашим истинным желаниям, пусть даже нам непросто четко сформулировать эти желания. Роботы могли бы опираться на наши слова и поступки в качестве индикаторов и доказательств желаний, а не интерпретировать их буквально и действовать соответственно. Когда мы прописываем функцию вознаграждения, робот должен понимать, что мы можем ошибаться, что мы могли не учесть все аспекты задачи и никто не гарантирует, что данная функция вознаграждения всегда будет приводить к желаемому поведению. Робот должен интегрировать наши условия в свое понимание того, чего нам действительно хочется, но при этом должен общаться с нами ради уточнения информации. Он должен стремиться к наставлениям и руководству с нашей стороны, поскольку это единственный способ оптимизировать по-настоящему заслуженное вознаграждение.