Искусственный интеллект

Первая составляющая проблемы контроля, или первая агентская проблема, возникает из отношений «принципал–агент»: когда некий индивидуум («принципал») привлекает другого индивидуума («агент») действовать в своих интересах. Агентская проблема, или агентский конфликт, — вопрос, глубоко изученный экономистами1. Нас он может интересовать с единственной стороны: если те, кто создает ИИ, и те, в чьих интересах ИИ создается, — не одни и те же люди. В таком случае организатор, или заказчик, проекта (причем это может быть кто угодно: начиная от частного лица и заканчивая всем человечеством) должен был бы испытывать постоянную тревогу, не начнут ли ученые и программисты, занятые в проекте, действовать в своих интересах в ущерб его2. Несмотря на то что первая агентская проблема действительно способна создать определенные трудности для организатора проекта, она не является уникальной для тех проектов, которые связаны с повышением уровня интеллектуальных способностей или созданием ИИ. Агентские конфликты типичны для экономических и политических процессов, и варианты их решения хорошо изучены и разработаны. Например, можно принять ряд необходимых мер, чтобы свести к минимуму риск нарваться на нелояльного работника, который начнет саботировать проект или вредить ему: провести тщательную проверку биографических и профессиональных данных ведущих специалистов; в проектах по разработке ПО использовать надежную систему контроля версий; усилить надзор за деятельностью многочисленных независимых наблюдателей и ревизоров. Конечно, эти защитные меры дорого обойдутся: возрастут потребности в дополнительных кадрах; усложнится процедура отбора персонала; возникнут препятствия в творческих поисках; начнут подавлять проявление критической мысли и независимого поведения — все вместе взятое крайне тормозит темп проведения работ и наносит ущерб их качеству. Издержки могут быть очень существенны, особенно если речь идет о проектах с ограниченным бюджетом или включенных в жесткую конкурентную борьбу по принципу «победитель получает все». Участники подобных проектов — в силу скупости или экономии времени — могут пренебречь процедурами безопасности, призванными решить агентскую проблему, и тем самым спровоцировать потенциальную угрозу катастрофического отказа.

Вторая составляющая проблемы контроля, или вторая агентская проблема, может быть более типичной для рассматриваемой нами ситуации взрывного развития искусственного интеллекта. Группа разработчиков, создающая ИИ, сталкивается с этим агентским конфликтом, когда пытается убедиться, что их детище не навредит интересам проекта. Но в этом случае мы имеем дело не с агентом-человеком, действующим от имени принципала-человека. Агентом является сверхразумная система. И если первая агентская проблема возникает в основном на стадии разработки ИИ, то вторая грозит неприятностями на стадии его функционирования.

Рассмотрим структуру проблемы контроля с точки зрения отношений «принципал-агент».

Первая агентская проблема

Человек против человека (организатор → разработчик).

Проявляет себя в основном на стадии разработки.

Решается стандартными методами управления.

Вторая агентская проблема

Человек против сверхразума

(группа разработчиков → интеллектуальная система);

Проявляет себя в основном на стадии функционирования (и раз­вития);

Для ее решения требуются новые методы.

Вторая агентская проблема представляет собой беспрецедентную угрозу. Для решения этого агентского конфликта требуются абсолютно новые методы. Некоторые из трудностей мы рассмотрели ранее. Из предыдущей главы мы поняли, что даже, казалось бы, многообещающая совокупность методов неспособна предотвратить вероломный ход сверхразумной системы. В противном случае оказались бы более действенными усилия разработчиков, когда они наблюдают за поведением зародыша ИИ, фиксируют каждый шаг на стадии его развития и разрешают ИИ покинуть свою безопасную среду, как только убедятся, накопив достаточное количество фактов, что он будет действовать в интересах людей. В обычной жизни изобретения проверяют на предмет их безопасности чаще всего в лабораторных условиях, реже проводят так называемые полевые исследования и только потом начинают постепенно разворачивать в полном масштабе, имея, однако, возможность­ прекратить этот процесс в любой момент, если возникнут неожиданные проблемы. Результаты предварительных испытаний помогают нам приходить к обоснованным умозаключениям по поводу будущей надежности новых технологий. По отношению к ИИ метод исследования свойств поведения, который в данном случае сродни бихевиористскому подходу, обречен на неудачу из-за колоссальной способности сверхразума к стратегическому планированию3.