Взломать всё. Как сильные мира сего используют уязвимости систем в своих интересах

В 2016 г. система искусственного интеллекта AlphaGo выиграла матч из пяти партий{220} у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее – он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два»{221}. У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 г. исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Исследователи ИИ работают над проблемой объяснимости. В 2017 г. Управление перспективных исследовательских проектов министерства обороны США (DARPA) учредило исследовательский фонд в размере $75 млн для десятка программ в этой области. Потенциально это влияет на успех, но, похоже, нам не уйти от компромиссов между эффективностью и объяснимостью, между эффективностью и безопасностью и между объяснимостью и конфиденциальностью. Объяснения – это форма стенографии когнитивного процесса, используемая людьми и подходящая для наших методов принятия решений. Решения ИИ могут просто не соответствовать формату понятных для человека объяснений, а принуждение к ним систем ИИ может стать дополнительным ограничением, которое повлияет на качество принимаемых ими решений. Пока неясно, к чему приведут эти исследования. В ближайшей перспективе ИИ будет все более непрозрачным, поскольку системы усложняются, становясь все менее похожими на человека, а значит, и менее объяснимыми.

Впрочем, в некоторых контекстах мы можем не заботиться об объяснимости. Я был бы уверен в диагнозе, поставленном мне Deep Patient, даже если бы он не мог объяснить свои действия, но, согласно данным, ставил диагнозы точнее, чем врач-человек. Точно так же я мог бы относиться к системе ИИ, которая решает, где бурить нефтяные скважины, или предсказывает, какие детали самолета с большей вероятностью выйдут из строя. Но я бы не чувствовал себя так же комфортно в случае с непрозрачной системой ИИ, которая принимает решения о приеме в колледж, прогнозируя вероятность академических успехов абитуриента, с системой, которая принимает решения о выдаче кредита, учитывая расовые стереотипы в своих прогнозах возможной невыплаты, или с системой, принимающей решения об условно-досрочном освобождении на основе прогноза рецидивов. Возможно, некоторым людям даже спокойнее оттого, что системы ИИ принимают серьезные решения без объяснения причин. Все это очень субъективно и, вероятно, со временем будет меняться по мере того, как мы все больше будем приобщаться к принятию решений ИИ.

Однако есть те, кто категорически не согласен с такой ситуацией и выступает против необъяснимого ИИ. Институт будущего жизни (FLI) и другие исследователи ИИ отмечают, что объяснимость особенно важна для систем, которые{222} могут «причинить вред», оказать «существенное влияние на людей» или повлиять на «жизнь конкретного человека, ее качество или его репутацию». В докладе, озаглавленном «ИИ в Великобритании», говорится, что если система ИИ оказывает «существенное влияние на жизнь человека»{223} и не может предоставить «полное и удовлетворительное объяснение» своих решений, то такую систему внедрять не следует.