Конец индивидуума. Путешествие философа в страну искусственного интеллекта

Она покраснела. Прежде всего, содержание разговоров не записывается. Во-вторых, собранные данные анонимизируются, прежде чем будут обработаны ИИ. В-третьих, подумал ли я об огромных выгодах этой инновации? Сотрудники, которые раньше оставались в тени, теперь могут быть признаны в качестве «связных», к которым все обращаются за помощью, а это зачастую заставляет руководство менять внутренние методы оценки. И наоборот, люди, которых группа отталкивает, очевидно, не раскрывают своего потенциала и рискуют увольнением — не лучше ли в таком случае предупредить разрыв? Также становится возможным оценивать, соблюдается ли паритет на встречах, даже неформальных, — разве это не шаг в сторону равенства мужчин и женщин? Колокольчик — это на самом деле «социометрический бейдж», позволяющий усовершенствовать управление человеческими ресурсами, определить уровень общего доверия и гарантировать, что каждый будет чувствовать себя включенным в работу. Задача в том, чтобы дать голос наиболее скромным сотрудникам и предоставить им справедливую компенсацию за создаваемую ими ценность, пусть она и производится за счет вроде бы совершенно невинного разговора. Впрочем, несогласным Humanize предлагает носить «фальшивый бейдж», в котором нет детекторов, но знать об этом никто не будет. За восемь лет было лишь два таких случая. Что и требовалось доказать…

Признаюсь, после этой страстной тирады я почувствовал, что начинаю колебаться. В конце концов, может быть, я слишком европеец, слишком озабочен правами каждого, но не интересуюсь всеобщим счастьем? Если бы все были готовы повесить на себя такой колокольчик, чтобы лучше понимать динамику стада, от имени какой абстрактной концепции частной жизни я смог бы выступать против этого?

Вот в этом и заключается убедительность утилитаризма. Неудивительно, что Бентам был к тому же сторонником максимальной прозрачности, самой известной и мрачной иллюстрацией которой стала его модель тюремного паноптикона.

Последняя, но довольно важная, составляющая входит в определение функции полезности. По формуле Бентама, предельная цель социальной организации — поиск «максимального счастья для максимального числа людей». То есть полезность всегда рассчитывается одновременно для индивида и группы. Представим четырех людей, у каждого из которых «балл» счастья, определяемый по шкале от 1 до 10, равен 5. Согласно гедонистскому исчислению Бентама, получившему название «felicific calculus», политика или технология, которая бы позволила всем им перейти от 5 баллов к 6, была бы, естественно, желательной. Но представим сценарий, в котором два из наших подопытных достигают 8 баллов счастья, один остается на уровне 6, а последний опускается до 4. Сумма счастья в таком случае была бы выше, чем в двух предшествующих ситуациях: (8 + 8 + 6 + 4) > (6 × 4) > (5 × 4) — даже мне это понятно! А потому такой реформе надо отдать предпочтение, даже если бы она привела бы к страданию одного конкретного человека. Всеобщее счастье не всегда благоприятствует моему личному счастью.

Системы ИИ хорошо усвоили эту логику. Вот почему профессор Тодд Дэвис, которого я встретил в его подвале в Стэнфорде, с некоторым лукавством объясняет мне, что ему удается «обмануть Google Maps», выбирая альтернативные маршруты по пути домой. Дело в том, что Google Maps показывает не самый короткий для вас путь, а лучший компромисс между скоростью вашего путешествия и подвижностью трафика. Предложенный путь должен поддерживать хрупкое равновесие между вашим интересом и интересами всех остальных водителей. Иначе говоря, алгоритм, возможно, примет решение отправить вас по объездному пути, где вы потеряете десять минут, если это позволит разгрузить основную трассу для следующих за вами водителей: в этом сценарии вы оказываетесь в дураках, то есть становитесь тем, чей балл счастья опускается с 5 до 4. Но вы все равно согласитесь — сначала в силу незнания, а потом по той причине, что долгосрочно предоставляемые услуги намного ценнее временных неудобств. Определенная доля индивидуализма возможна лишь на хорошо знакомой дороге, например той, по которой профессор Дэвис многие десятилетия ездит от Стэнфорда до дома. Обманывая Google Maps (конечно, не превышая скорость…), можете быть уверены, что нанесли коллективу автомобилистов лишь незначительный ущерб.