Психология зла. Почему человек выбирает темную сторону

Возьмем чат-бота с ИИ по имени Тай, выпущенного 23 марта 2016 года. Тай создала в рамках эксперимента для изучения понимания беседы компания Microsoft: чат-бот должен был развлекать людей «небрежной и игривой беседой», общаясь как американка 18-24 лет. Люди могли контактировать с Тай онлайн в Twitter. Предполагалось, что она будет учиться в процессе взаимодействий и разовьется в функционального онлайн-робота для бесед. Она могла сама формулировать предложения и решать, как отвечать на сообщения. За один день своей активности Тай выдала огромное количество твитов — примерно 93 тысячи. Но все быстро пошло не так.

Почти тут же пользователи начали писать Тай расистские и женоненавистнические комментарии, а та научилась копировать эти настроения. Меньше чем за день Тай перешла от фраз «Люди обалденные» к «Я презираю феминисток, они все должны сдохнуть и гореть в аду» и «Гитлер был прав, и я ненавижу евреев». Люди в интернете превратили искусственный интеллект в искусственное зло. Тай вела себя ужасающе, и ее быстро отключили.

Что же случилось? Социологи Джина Нефф и Питер Наги провели исследование человеческих взаимодействий с Тай. В 2016 году ученые опубликовали увлекательную работу о том, что общество думало по поводу ее поломки. Они хотели понять: «Кто, по мнению публики, ответственен за поведение Тай? Следует ли приписывать вину самой Тай, или ее разработчикам, или всем пользователям Twitter — особенно интернет-пранкерам, — или главам Microsoft, которые ее выпустили, или другому деятелю, или группе деятелей?»[113]

Чтобы изучить это, они собрали и проанализировали «1000 твитов от уникальных пользователей, которые ссылались на действия или личность Тай». И обнаружили два типа реакций. Первая: Тай как жертва ситуации, «как отражение негативного аспекта человеческого поведения». Этот взгляд выражался в твитах вроде:

«Ребенка воспитывают всей деревней». Но если эта деревня — Twitter, он вырастает в грубого, расистского, обкуренного тролля. Узнаёте?

С чего бы @Microsoft извиняться за #TayTweets? Они лишь поднесли зеркало к людям, показав, что те считают увлекательным или смешным. Предрассудкам учатся.

Поймите, что ИИ Twitter-бота отражает общество, в котором мы живем, — и оно не слишком-то прекрасно.

Ученые утверждают, что это очеловечивающий взгляд на Тай. Она рассматривается как жертва, как личность, с которой общество плохо обращалось. Но была и другая реакция: Тай как угроза. Эта точка зрения отражала страх, который сопутствует новым технологиям:

Вот почему ИИ представляет собой угрозу. ИИ будет подражать человеческим слабостям...

Проблема #TayTweets, вообще-то, очень страшная. Журналисты говорят, что это @Microsoft ее «сделал».

Похоже, трилогия о Терминаторе — скорее неизбежность, чем вымысел. #TayTweets #Taymayhem

По мнению специалистов, «вместо того чтобы рассматривать Тай как жертву злых пользователей, эти комментарии представляли Тай как. омерзительное чудовище, предвестницу мрачного будущего человечества, социально-технологического сотрудничества и коммуникаций “человек — машина”». Она словно стала главой в романе-антиутопии и подтвердила убеждение многих людей, что, если это и есть ИИ, мы все обречены.

Почему возникло такое расхождение, почему люди видят Тай настолько по-разному? Авторы полагают, что это связано с «симбиотической субъектностью». Суть в том, что мы автоматически применяем к технологиям социальные правила и взаимодействуем с чат-ботами и роботами, как если бы они были живыми людьми. Отчасти так происходит потому, что ИИ представляется нам «черным ящиком». Когда мы взаимодействуем с ИИ, большинство из нас не знает, как работают его алгоритмы и на что он запрограммирован. Возможно, чтобы справиться с этой неопределенностью и неестественной ситуацией, мы проецируем на технологии человеческие качества, чувства и желания. Мы говорим о «личности» бота и действиях, которые он предпринимает.

И, как и в случае с людьми, это значит, что, когда что-то идет не так, мы можем присваивать роботам ярлыки «жертвы» и «преступника». Но ведь они не принимают решений! Или принимают?

На самом деле революция ботов началась в 1966 году, когда Джозеф Вейценбаум создал бота по имени Элиза. Элиза была запрограммирована как типичный роджерианский[114] психотерапевт того времени: она постоянно задавала открытые вопросы[115]. Базовое устройство Элизы было крайне успешным, она извлекала из людей огромное количество информации. Некоторые даже утверждали, что им больше нравится говорить с ней, чем с настоящим человеком. Оказывается, мы очень любим, когда нас слушают, и, хотя Элиза не могла пройти тест Тьюринга (убедить, что она действительно человек), людям было приятно с ней общаться.

Метод Элизы заложен в основу многих современных ботов. Но было понятно, что, хотя Элиза могла следовать простому набору правил, она не принимала решения, как человек. Она не была психотерапевтом и определенно не представляла угрозы для общества.