Нам не нужны искусственные сознательные агенты. Налицо избыток естественных сознательных агентов, достаточный для решения любых задач, которые подлежат резервированию как прерогатива этих особых, привилегированных сущностей. Нам нужны интеллектуальные инструменты. Инструменты лишены прав и не должны испытывать чувства, которые возможно задеть, или обижаться на «злоупотребления» со стороны неумелых пользователей[58]
. Одна из причин отказаться от создания искусственных сознательных агентов заключается в том, что, какими бы автономными они ни были (в принципе они способны на автономию, самосовершенствование и самосотворение в той же степени, что и человек), они не смогут – без специальной подготовки, которой можно воспрепятствовать, – разделить с нами, то есть с естественными сознательными агентами, нашу уязвимость и смертность.Однажды на университетском семинаре, который мы с Матиасом Шойцем вели по искусственным агентам и автономии, я предложил студентам: опишите технические характеристики робота, который заключит с вами обязательный к исполнению контракт – не как суррогат человека-владельца, а самостоятельно. Дело не в том, чтобы обучить робота пониманию юридических тонкостей или умению водить ручкой по листу бумаги, а в том, чтобы он заслуженно обрел правовой статус морально ответственного агента. Маленькие дети не могут подписывать договоры, равно как и те инвалиды, чей правовой статус требует опеки и ответственности сторонних лиц. Беда роботов, которым вздумается достичь столь высокого статуса, в том, что они, подобно Супермену, слишком неуязвимы для доверия к ним. Если они нарушат договор, каковы будут последствия? Каким будет наказание за отказ соблюдать согласованные условия? Тюремная камера или, если уж на то пошло, принудительная разборка? Камера едва ли доставит неудобства ИИ, если не внедрить в него изначально wanderlust[59]
, которую искусственный интеллект не сможет игнорировать или отключать самостоятельно (с системной точки зрения это будет непросто, учитывая предположительное всеведение и самопознание ИИ); а демонтаж системы, будь то робот или стационарный агент наподобие Watson, не покончит с ней, если сохранится информация в ее конструкции и программном обеспечении. Сама легкость цифровой записи и передачи информации – прорыв, который фактически гарантирует бессмертие программному обеспечению и данным – выводит роботов из пространства уязвимости (по крайней мере, это касается обычно воображаемых роботов с цифровым программным обеспечением и памятью). Если вы не уверены в этом, задумайтесь о человеческой морали: как она изменится, скажем, будь у нас возможность изготавливать «резервные копии» людей каждую неделю. В субботу прыгаем головой вниз с высокого моста без страховки – это же мелочь, о которой можно не вспоминать в пятницу вечером, ибо в воскресенье утром онлайн доступна пятничная резервная копия, которая и наслаждается видеозаписью вашей субботней кончины.Следовательно, мы создаем не сознательных человекоподобных агентов (их мы не должны создавать), а совершенно новый вид сущностей, нечто вроде оракулов, лишенных совести и страха смерти, не отвлекающихся на любовь и ненависть, не обладающих личностью (но со всеми фобиями и причудами, которые, без сомнения, станут трактовать как «личность» системы). Это своего рода «ящики истины» (если нам повезет), почти наверняка содержащие в своих базах данных россыпи лжи. Будет довольно трудно научиться жить рядом с ними, не отвлекаясь на фантазии о «сингулярности», в которых ИИ порабощает человечество в реальности. Человеческое применение человеческих существ в скором времени изменится – снова – навсегда, но мы в состоянии встать у руля и направить наш корабль мимо хотя бы некоторых опасностей, если возьмем на себя ответственность за траекторию движения.
Глава 6
Нечеловеческая ловушка, в которую нас завлекли машины
Робототехник Родни Брукс
оказался одним из героев документального фильма Эррола Морриса «Быстро, дешево и бесконтрольно» (1997), а компанию ему составили укротитель львов, топиарист и эксперт по голым землекопам[60]; некий рецензент отметил, что «его улыбка сочеталась с диким блеском в глазах». Пожалуй, то же самое можно сказать о большинстве провидцев.