Конец индивидуума. Путешествие философа в страну искусственного интеллекта

Второй вопрос, с моей точки зрения более важный, — это вопрос автоматизации соблюдения закона. Возможно, не повиноваться закону будет все сложнее и сложнее. Когда алгоритм интегрирует в себя закон, он делает его одновременно невидимым и неумолимым. Я поговорил об этом за обедом в Пало-Альто с Джессом Левинсоном, основателем Zoox, одного из самых известных стартапов в Кремниевой долине, цель которого — создать и внедрить первый парк автономных такси. На что будет похож пресловутый умный город с его автомобилями, связанными сетью? В таком городе можно будет по закону запретить применение «ручных» машин, которые в силу своей непредсказуемости станут источником опасности для всех остальных. С правилами дорожного движения больше не забалуешь, если они вообще останутся, когда съезды и развязки можно будет оптимизировать в реальном времени. Придет конец небольшим превышениям скорости, слишком резкому перестраиванию и проезду на желтый свет. А что, спросил я своего собеседника, если надо ускориться в силу срочной ситуации, например чтобы довезти роженицу до больницы? «Можно придумать тревожную кнопку, которая позволит получить приоритет», — спешит ответить Джесс. Но для этого понадобится обоснование… Джесс, считающий себя либералом в европейском смысле слова (что большая редкость для Кремниевой долины), признаёт, что в этом смысле ИИ ведет к утрате чувства ответственности[119] и в то же время к риску бюрократизации. В самом деле, что это за закон, если ему повинуются в силу необходимости, а не по доброй воле? Разве быть гражданином не значит принуждать самого себя? Что останется от правового государства, если мы просто физически не сможем избегать его власти? Именно это канадский философ права Ян Керр назвал «аутопией» — по названию аттракциона «Евродиснея»: дети считают, что сами управляют маленькой машинкой, тогда как на самом деле невидимый механизм всегда ведет их по самой середине дороги, благодаря чему аварии становятся невозможными. Умный город — практическое воплощение «аутопии». Мы все станем такими детьми, сидящими за декоративным рулем.

Теоретически эта логика может распространиться на всю жизнь общества в целом. Полиция Лос-Анджелеса (LAPD) стала применять принцип «предиктивных полицейских действий», опираясь на прогностические алгоритмы, чтобы превентивно отправлять наряд в те места, где вероятно совершение преступления[120]. Представьте общество, в котором преступление стало невозможным. Чем оно будет — пацифистской утопией или же тоталитарным кошмаром в стиле «Особого мнения», когда полиция может арестовать вас на основании ваших предположительных намерений? Мишель Фуко настаивал на важности «нелегальности», серой зоны между правом и не-правом, в которой сегодняшние девианты формируют завтрашние правила. Речь не о том, чтобы отрицать всякое право, а о том, чтобы признать «равновесие терпимости, взаимной поддержки и интересов», — пишет Фуко в работе «Надзирать и наказывать». Зоны «нелегальности» образуют края трансгрессии, где классовые и социальные различия могут смешиваться друг с другом. Ускользая от нашего картезианского разума, они создают тысячи возможностей для разумного действия, которые никакой текст никогда не мог бы определить. Если не будет нелегальности, не лишится ли сама легальность своего смысла?

Автоматизация соблюдения права рискует превратить субъекта права в покорный объект. Но в то же время, и еще более фундаментальным образом, она передает юридическую ответственность от человека машине. Это как раз и объяснил мне Зак Харнед, юрист и основатель «Искусственного интеллекта и правового общества» в Стэнфордском университете. Кто сегодня отвечает за ошибку при назначении лекарства? Врач, а не фармацевтическая индустрия. Но кого нужно будет винить завтра, если назначение лекарства доверят ИИ? Автоматизация решения подрывает все юридическое поле ответственности в целом. В настоящий момент производителя программного обеспечения нельзя преследовать за плохую рекомендацию. Эта парадигма восходит к индустриальной эпохе, и ее, по словам Зака, придется адаптировать к новым временам. Кто сможет обвинить пассажира беспилотного автомобиля в том, что он проехал на красный свет?

Значит ли это, что создатель программы ИИ становится ответственным с того самого момента, когда ее пользователь перестает отвечать за свои действия? Нет, если считать, что алгоритм работает с определенной долей автономии. Отвергая перспективу появления сверхинтеллекта, мы все равно признаём за машиной способность к обучению. Как обвинить программиста в решении, не запрограммированном им напрямую, если происходило машинное обучение, условия для возможности которого он, однако же, создал? Разумеется, никто не давал беспилотной машине инструкции ехать на красный свет. Но ИИ, учитывая миллионы ранее встреченных ситуаций, мог решить, к примеру, что лучше пойти на такой риск, чем столкнуться с идущей сзади на большой скорости машиной. Это просто подсчет вероятностей!