Человек + машина. Новые принципы работы в эпоху искусственного интеллекта

Это сложный вопрос, требующий осмотрительного и вдумчивого подхода к выбору структуры бизнес-процессов. Когда топ-менеджеры с возможностями, расширенными за счет искусственного интеллекта, меняют конфигурацию взаимодействия между руководством, сотрудниками и обществом, компании должны знать о более масштабных, оказывающих сильное воздействие и потенциально нежелательных последствиях, сопутствующих этим переменам. Необходимы новые механизмы, гарантирующие, что люди не попадут под удар, если использование искусственного интеллекта будет признано неудачным. Однако чтобы разработать такие механизмы, сначала нужно понять концепцию зоны моральной деформации.

Зона деформации — это часть автомобиля, которая должна принять на себя удар, чтобы защитить водителя и пассажиров. Иногда именно люди (сотрудники и клиенты) оказываются уязвимы из-за сбоя системы искусственного интеллекта, что подрывает доверие к ней.

Этнографы Мадлен Клэр Элиш и Тим Хванге ввели термин «зона моральной деформации». Проводя исследования, они обнаружили, что в нашем цифровом мире контроль над определенными сервисами, такими как райдшеринг (поиск попутчиков для путешествия на автомобиле), распределяется среди множества участников процесса в лице людей и машин, хотя ответственность за социальные и юридические последствия лежит, прежде всего, на человеке.

В опубликованном в 2016 году отчете Элиш приводит реальный пример зоны моральной деформации[136]. Она воспользовалась сервисом райдшеринга, чтобы добраться до аэропорта в Майами. Водитель выбрал первый предложенный маршрут, и они отправились в путь. Элиш уснула, а после пробуждения обнаружила, что водитель, у которого еще не было опыта использования данной платформы, отвез ее в место, находившееся в 20 минутах ходьбы от пассажирского терминала. Чтобы Элиш не опоздала на рейс, водителю пришлось отменить следующий заказ, предложенный приложением, и по сути бесплатно отвезти Элиш, хотя он не был обязан делать это. Тем не менее водитель поступил именно так, и Элиш успела на свой рейс.

В этой ситуации сервис подвел как водителя, так и клиента, однако простого способа зафиксировать это неприятное событие не было. Основные варианты обратной связи оказались рассчитаны на то, чтобы водитель и пассажир оценили друг друга. Но чья вина была в том, что приложение выдало неправильный адрес, водитель не знал, куда едет, а Элиш уснула и не скорректировала маршрут?

Элиш так объясняет суть зоны моральной деформации:

В рамках крайне сложной автоматизированной системы человек может случайно или умышленно стать тем элементом, который несет самое тяжкое бремя моральной и юридической ответственности при ее сбое. Суть метафоры с зоной моральной деформации сводится не просто к поиску «козла отпущения». Этот термин призван привлечь внимание к тому, как автоматизированные и автономные системы регулярно уклоняются от ответственности. Тогда как зона деформации в автомобиле предназначена для защиты водителя, зона моральной деформации защищает репутацию технологической системы[137].

В случае управляемых алгоритмами краудсорсинговых платформ люди-операторы также могут стать тем элементом системы, который несет ответственность за ее действия, — например, получая обратную связь от клиента, когда на самом деле ошибку допустила система. Кроме того, водители берут на себя основное бремя расходов по обслуживанию автомобилей (страхование, бензин и ТО), а также несут юридическую ответственность как представители приложения по поиску попутчиков, если что-то случится с их автомобилем.

Вот некоторые способы устранения существующих недостатков. Во-первых, сделайте так, чтобы алгоритмы отвечали за свои действия и определяли глубинные причины возникающих проблем, ведь так их можно исправить. Подотчетность существует не только для сотрудников. Во-вторых, предоставьте людям возможность ставить под сомнение действия системы искусственного интеллекта. Исходите из того, что сотрудники имеют свое мнение, предоставляют ценный контекст и могут обеспечить качество сервиса. В-третьих, создайте условия для выставления рейтингов при оценке действий алгоритмов или машин, а не только людей. В-четвертых, постоянно ищите несоответствия между контролем и ответственностью. Чтобы полностью нивелировать эффект от разработки систем, которые приводят к появлению зон моральной деформации, необходимо привести в соответствие ценности и нормы.