Человек + машина. Новые принципы работы в эпоху искусственного интеллекта

Поскольку компании полагаются на всё более совершенные системы искусственного интеллекта, принимая те или иные решения (особенно те, которые затрагивают интересы клиентов), им необходимо объяснять и обосновывать свои действия. На самом деле правительства уже рассматривают возможность принятия нормативных актов в этой области. Например, новое постановление Европейского союза «Общий регламент по защите данных», которое вступило в силу в 2018 году, по существу, вводит «право на разъяснение», позволяющее потребителям бороться за отмену любого решения, затрагивающего их интересы и принятого исключительно на основе алгоритма.

Компаниям, использующим современные системы искусственного интеллекта, понадобятся квалифицированные сотрудники, способные объяснить логику сложных алгоритмов. Одним из таких сотрудников станет эксперт по алгоритмам, в обязанности которого входит выявление причин, по которым алгоритм выдает те или иные результаты. Когда система совершает ошибку или когда ее решения приводят к непредвиденным негативным последствиям, эксперт должен выполнить своего рода «аутопсию» алгоритма, чтобы понять причины таких действий и внести необходимые коррективы. Некоторые типы алгоритмов объяснить не составит труда — к их числу относится алгоритм «убывающий список правил», в котором используется упорядоченный список правил импликации. Другие, как, например, алгоритмы глубокого обучения, объяснить не так просто. Тем не менее эксперт по алгоритмам должен иметь надлежащую подготовку и навыки, необходимые для детального анализа всех алгоритмов, используемых организацией.

В данном случае могут оказаться чрезвычайно полезными такие методы, как локально интерпретируемые моделе-агностические объяснения (local-interpretable-model-agnostic explanations, LIME). Для LIME не имеет значения, какой именно алгоритм искусственного интеллекта используется на самом деле. По существу, LIME вообще не нужно знать о внутренних механизмах соответствующей системы искусственного интеллекта. Для анализа любых результатов LIME корректирует переменные и наблюдает за тем, как меняется решение. Эта информация позволяет LIME выделить разные данные, на основе которых был сделан соответствующий вывод. Так, например, если экспертная система по подбору персонала определила лучшего кандидата на одну из должностей в отделе научных исследований и разработок, LIME может установить переменные, которые привели к принятию данного решения (такие как образование и глубокие знания в определенной узкой области), а также аргументы против этого решения (такие как отсутствие опыта работы в команде). С помощью таких методов эксперт по алгоритмам может объяснить, почему заявителю отказали в кредите, почему приостановили производственный процесс или маркетинговую кампанию запустили только на определенный сегмент потребителей.

Однако еще до возникновения потребности в такой экспертизе специалист по прозрачности алгоритмов должен классифицировать причины, по которым алгоритм искусственного интеллекта действует как черный ящик. От этих причин зависят уровень прозрачности и возможность проведения проверки алгоритма. Например, некоторые алгоритмы намеренно создаются как черные ящики, с тем чтобы защитить интеллектуальную собственность, тогда как другие напоминают черные ящики из-за сложности программного кода, или масштаба обрабатываемых данных, или механизмов принятия решений

[99]. Специалист по прозрачности — это человек, который классифицирует системы и ведет базу данных или библиотеку информации о доступности системы.

Для специалиста по разъяснению

такая база данных бесценна. В его обязанности входит принятие важных решений о том, какие технологии искусственного интеллекта лучше всего использовать для конкретных задач. В данном случае особое внимание следует уделить выбору между точностью и объяснимостью алгоритма. Например, система глубокого обучения обеспечивает высокий уровень точности прогнозирования, однако у компаний могут возникнуть трудности с объяснением полученных результатов. Напротив, дерево решений может не привести к получению результатов с высокой точностью прогнозирования, но обеспечит существенно более высокий уровень разъяснения. Так, например, для внутренней системы оптимизации логистики, допускающей только небольшие отклонения от графика поставок, целесообразно использовать технологию глубокого обучения. С другой стороны, в области здравоохранения или взаимодействия с клиентами осуществляется строгий надзор со стороны регуляторов, а значит, в этом случае лучше использовать алгоритмы убывающих списков правил[100].