Совместимость. Как контролировать искусственный интеллект

Одним из способов создания более мощных рефлекторных агентов является процесс обучения на примерах^Г. Вместо того чтобы устанавливать правила поведения или задавать функцию вознаграждения либо цель, человек может дать примеры решения проблем и верное решение для каждого случая. Например, мы можем создать агента-переводчика с французского языка на английский, предоставив примеры предложений на французском языке с правильным переводом на английский. (К счастью, парламенты Канады и ЕС ежегодно создают миллионы таких примеров.) Затем алгоритм

контролируемого обучения обрабатывает примеры и создает комплексное правило, которое берет любое предложение на французском языке в качестве входа и делает перевод на английский язык. Нынешний чемпион среди обучающихся алгоритмов машинного перевода является разновидностью так называемого глубокого обучения и создает правило в виде искусственной нейронной сети с сотнями слоев и миллионами параметров^Г

. Другие алгоритмы глубокого обучения оказались очень хороши для классифицирования объектов в изображениях и распознавания слов в речевом сигнале. Машинный перевод, распознавание речи и визуальных объектов — три самые важные подобласти в сфере ИИ, поэтому перспективы глубокого обучения вызывают такой энтузиазм.

Можно почти бесконечно спорить о том, приведет ли глубокое обучение напрямую к ИИ человеческого уровня. По моему мнению, которое я прокомментирую в дальнейшем, оно далеко отстает от необходимого^Г, но пока давайте сосредоточимся на том, как эти методы вписываются в стандартную модель ИИ, в которой алгоритм оптимизирует фиксированную задачу. Для глубокого обучения, как и для любого контролируемого обучающегося алгоритма, «вводимая в машину задача» обычно состоит в максимизации предсказательной точности, или, что то же самое, минимизации ошибок. Это во многом кажется очевидным, но в действительности имеет два варианта понимания, в зависимости от того, какую роль выученное правило должно играть во всей системе. Первая роль — это восприятие: сеть обрабатывает сенсорный входной сигнал и выдает информацию остальной системе в форме вероятностных оценок воспринимаемого. Если это алгоритм распознавания объектов, он может сказать: «70 % вероятность, что это норфолкский терьер, 30 % вероятность, что это норвичский терьер»

[80]. Остальная система решает, какое внешнее действие предпринять на основе этой информации. Такая задача, связанная с восприятием, беспроблемна в следующем смысле: даже «безопасная» сверхинтеллектуальная ИИ-система, в противоположность «небезопасной», основанной на стандартной модели, должна иметь как можно более точную и отлаженную систему восприятия.

Проблема возникает, когда мы переходим от восприятия к принятию решений. Например, обученная сеть распознавания объектов может автоматически присваивать подписи изображениям на сайте или в учетной записи в социальной сети. Присваивание подписей — это действие, имеющее последствия. Каждое такое действие требует принятия реального решения в плане классификации, и, если нет гарантий, что каждое решение совершенно, человек-разработчик должен задать функцию потерь

, определяющую издержки неверного классифицирования объекта типа А как объект типа Б. Именно так у Google возникла приснопамятная проблема с гориллами. В 2015 г. разработчик ПО Джеки Алсине пожаловался в «Твиттер», что сервис аннотирования фотографий Google Photos обозначил его и его друга как горилл[81]. Хотя непонятно, как именно произошла эта ошибка, почти наверняка алгоритм машинного обучения Google был разработан под минимизацию фиксированной, строго определенной функции потерь — более того, он приписывал всем ошибкам одну и ту же стоимость. Иными словами, он предполагал, что стоимость ошибочного принятия человека за гориллу равна стоимости ошибочного принятия норфолкского терьера за норвичского. Очевидно, это неадекватная функция потери для Google (или владельцев компании), что продемонстрировала возникшая проблема в сфере отношений с общественностью.

Поскольку возможных подписей к изображениям тысячи, количество потенциальных издержек, связанных с ошибочным принятием одной категории за другую, исчисляется миллионами. Несмотря на все усилия, Google обнаружила, что очень трудно заранее задать все эти параметры. Вместо этого следовало признать неопределенность в отношении истинной стоимости ошибочной классификации и создать обучающийся и классифицирующий алгоритм с достаточной чувствительностью к издержкам и связанной с ними неопределенности. Такой алгоритм мог бы иногда спрашивать у разработчиков Google что-нибудь вроде: «Что хуже: ошибочно принять собаку за кошку или человека за животное?» Кроме того, при наличии существенной неопределенности в отношении стоимости ошибочной классификации алгоритм мог бы отказываться подписывать некоторые изображения.