Искусственный интеллект – надежды и опасения

Ранние работы Рассела были посвящены описанию гипотезы «ограниченной оптимальности» как формального операционального определения интеллекта. Он разработал метод рационального метарассуждения, «суть которого, грубо говоря, заключается в том, что вы выполняете вычисления, которые, по вашим ожиданиям, улучшат качество итогового решения в максимально короткие сроки». Также Стюарт приложил руку к комбинированию теории вероятности с логикой первого порядка, благодаря чему возникла новая и гораздо более эффективная система мониторинга соблюдения условий договора о всеобъемлющем запрещении ядерных испытаний, и к задаче принятия долгосрочных решений (сам он предпочитает давать презентациям по последней теме названия вроде «Жизнь: играть и выигрывать за 20 триллионов ходов»).

Он сильно озабочен продолжающимися разработками автономного оружия, в частности смертоносных микродронов, которые можно с легкостью превратить в оружие массового уничтожения. Рассел составил черновик письма от имени сорока ведущих мировых исследователей ИИ к президенту Обаме, и его усилия ознаменовались рядом важных совещаний по вопросам национальной безопасности.

Ныне он сосредоточился на создании, повторяя его собственные слова, «доказуемо благотворного» ИИ. Стюарт желает гарантировать безопасность от ИИ за счет «внедрения явной неопределенности» в компьютерные системы: машины, таким образом, остаются в неведении относительно истинных целей людей-программистов, и подобный подход может привести к довольно радикальному переосмыслению тематики текущих исследований в области ИИ.

При этом имя Стюарта знакомо всем, кто обучался информатике и компьютерным наукам в последние двадцать лет. Вместе с соавтором он написал «полный» учебник по искусственному интеллекту, разошедшийся тиражом около 5 миллионов экземпляров на английском языке.

Среди множества вопросов, поднимаемых Норбертом Винером в книге «Человеческое применение человеческих существ» (1950) и сохраняющих актуальность по сей день, наиболее значимым для исследователей в области ИИ является вопрос, сформулированный следующим образом: «Возможно ли, что однажды человечество уступит машинам право распоряжаться своей судьбой?»

Винер считал машины ближайшего будущего слишком ограниченными для притязаний на глобальный контроль и предполагал, что посредством таких машин и машиноподобного контроля человеческие элиты низведут огромные массы людей до статуса «винтиков системы». Стараясь заглянуть в грядущее, он указывал на проблематичность правильной постановки целей для высокопроизводительных машин:

…мы узнаем некоторые элементарные и очевидные факты жизни, например: если найдешь джинна в кувшине, лучше его не выпускать; если рыбак слишком много раз просит благ от Небес по наущению своей жены, он останется ровно с тем, с чего начинал; если вам предложили три желания, нужно формулировать их с оглядкой на последствия.

Опасности достаточно очевидны:

Горе нам, если мы позволим ей [машине] определять наше поведение, прежде чем изучим законы ее действий и не будем полностью уверены, что ее работа строится на приемлемых для нас принципах. С другой стороны, подобная джинну машина, способная к обучению и принятию решений на базе этого обучения, никоим образом не окажется обязанной принимать те решения, какие приняли бы мы сами или какие были бы приемлемы для нас.

Десять лет спустя, увидев программу игры в шашки Артура Сэмюела, научившуюся играть намного лучше своего создателя, Винер опубликовал статью «Некоторые моральные и технические последствия автоматизации» в журнале «Сайенс». В этой статье он высказался недвусмысленно:

Если мы используем для достижения наших целей механического агента, в работу которого не можем эффективно вмешиваться… следует твердо удостовериться в том, что цель, заложенная в машину, есть та цель, к которой мы действительно стремимся…

На мой взгляд, вот источник того экзистенциального риска от разработки сверхинтеллектуального ИИ, о котором в последние годы говорили такие специалисты, как Илон Маск, Билл Гейтс, Стивен Хокинг и Ник Бостром.