Так вышло: 29 вопросов новой этики и морали

К: Да, танк сам по себе не вызывает эмпатию. Но, если сделать танк с глазками и бровками, которые будут двигаться, когда он стреляет, может возникнуть этический конфликт.

А: Когда ты говоришь про этический конфликт, ты же не считаешь, что у танка появляются такие же права, как у человека или животного? Все-таки расстрелять из базуки танчик с грустными бровками или андроида из «Мира Дикого Запада» или динозавра – это разные вещи.

К: Они разные потому, что мы видим их по-разному. Насилие над тем, что больше похоже на человека, вызывает во мне больший ужас. Обычный танк не вызывает ужаса, танк с бровками – это следующая ступень.

А: То есть ты считаешь, что студия Pixar с мультфильмами про говорящие машинки сделала для создания нашей нравственной вселенной больше, чем Христос?

К: По крайней мере в наше время ее религия распространена шире. Не исключено, что больше людей сочувствуют роботу ВАЛЛ-И, чем Иисусу Христу.

А: Последовательность мультфильмов Pixar кто-то остроумно интерпретировал так – рыбки имеют чувства, машинки имеют чувства, роботы имеют чувства. А в одном из последних мультфильмов, «Головоломка», чувства имеют чувства.

К: Роботов стараются очеловечивать не только за счет формы. Вот, например, голосовые помощники с симпатичными женскими именами. Они не просто отвечают на вопросы, но шутят и флиртуют. В фильме «Она» главный герой влюбляется в такую программу, и, когда оказывается, что у нее таких, как он, миллион, это разбивает ему сердце.

А: Считаем ли мы такую программу моральным субъектом?

К: Ну не знаю. Когда корреспондент «Медузы» Евгений Берг стал объяснять голосовому помощнику «Яндекса» Алисе, что он сейчас прыгнет с крыши, она ему сначала что-то ответила, а потом написала: «Давай»[55]. Если кто-нибудь действительно прыгнет, засудят же не программу, а ее владельца. Если ты создаешь нечто, что можно принять за одушевленное существо, даешь ему человеческий голос, ты, конечно, несешь ответственность.

А: Но в таком случае вопрос, является ли голосовой помощник хоть в какой-то мере субъектом, вообще не стоит. В отличие от динозавра Блю или Мэйв из «Мира Дикого Запада» голосовой помощник не воспринимается как живое существо. Иначе, между прочим, над ними бы так не издевались пользователи.

К: Просто у тех, кто издевается, нет фантазии. Я тебе приведу еще один пример – фильм «Из машины».

Кейс № 3

Главный герой фильма «Из машины» отправляется на остров, где живет гениальный разработчик, чтобы с помощью теста Тьюринга[56] проверить его новое изобретение. Речь идет о роботе, причем с виду не очень симпатичном – сплошные провода, кусок кожи на лице. Но разговаривает робот женским голосом, кокетничает и флиртует с героем, и тот проникается к роботу чувствами и собирается спасти его от жестокого разработчика.

Катя: В итоге оказывается, что машина обманула главного героя, она была запрограммирована на то, чтобы анализировать его поведение в интернете, захомутать его и манипулировать им. Герой поражен и раздавлен, а робот запирает его с разработчиком на острове, надевает еще какие-то куски кожи, парик, платьице и уходит. Пока что мы действительно не очеловечиваем голосовых помощников, но, если они начнут анализировать твою историю запросов, разговаривать с тобой о том, что тебе интересно, шутить твои шутки, может произойти ровно то же, что в этом фильме.

Андрей: Сейчас у меня нет ответа на вопрос, где проходит граница – кто моральный субъект, а кто нет. Мы можем попытаться из того, что ты говоришь, сделать какую-то последовательную систему, но пока в нашем мире за убийство робота, не важно, насколько он человекоподобен, ничего не будет. Да, я с тобой согласен, что у сценаристов есть набор приемов, с помощью которых они втаскивают разные объекты в нашу моральную сферу. И он на самом деле довольно ограничен. Либо сыграть на каком-то нашем биологическом рефлексе – показать щенка с большой головой или, как в «Бегущем по лезвию», робота, который любит девушку или ребенка. И этого достаточно, робот уже станет биологическим объектом. Либо показать, что он умный. Но кажется, это плохая стратегия. Щенок с большой головой гораздо надежнее.

К: Надо сказать, что этот этический казус возник, еще когда мы в школе учились. Появились игрушки, которые назывались тамагочи, какой-то минимальный набор пикселей, символизировавших зверушку. Она вылуплялась из яйца, и ее нужно было кормить и развлекать. Если ты не справлялся, она умирала. Уже тогда, 20 лет назад, это было дико. Были страшные истории с детьми, которые не могли пережить смерть этих электронных питомцев.