Бог, человек, животное, машина. Поиски смысла в расколдованном мире

Похожие алгоритмы применяются и в судах; они определяют степень угрозы для общества со стороны обвиняемого и риск побега до вынесения приговора. Эти машины анализируют досье подсудимого, включая предполагаемое преступление, место ареста и количество предыдущих задержаний (некоторые модели также учитывают место работы подозреваемого, его круг общения и кредитный рейтинг). А затем они сравнивают эти данные с сотнями и тысячами уголовных дел и присваивают подсудимому определенное количество баллов. На основе этого показателя суд решает, следует арестованному ожидать приговора дома или в тюрьме. Впервые эти алгоритмы попали в заголовки национальных газет в 2017 году, во время суда над Эриком Лумисом, 34-летним мужчиной из Висконсина. Вынесенный ему тюремный приговор – шесть лет за противодействие офицеру полиции – был отчасти основан на заключении COMPAS, прогностической модели, определяющей вероятность рецидива. Во время судебного процесса судья сообщил Лумису, что по результатам оценки COMPAS он был классифицирован как представляющий высокий риск для общества. Естественно, Лумис захотел узнать, на основании каких критериев был вынесен приговор, но его проинформировали, что он не может оспорить решение алгоритма. В итоге дело дошло до Верховного суда штата Висконсин, который вынес решение не в пользу подсудимого. Генеральный прокурор штата заявил, что Лумис располагал ровно той же информацией о деле, что и суд (представления судей о работе алгоритма были, как он заметил, настолько же смутными), и заявил, что подсудимый был «свободен усомниться в этой оценке и указать на ее возможные недостатки». Но это довольно вольная интерпретация понятия свободы. Лумис был так же свободен усомниться в алгоритме, как Иов – в справедливости Иеговы.

Другой, более свежий, случай произошел с Дарнеллом Гейтсом, жителем Филадельфии, который в 2020 году был условно осужден после отбытия срока в тюрьме. Он и сам замечал, что в разные месяцы ему приходится отмечаться у офицера по УДО то чаще, то реже, но ему не сообщали, почему так происходит: как выяснилось, алгоритм постоянно пересматривал уровень его неблагонадежности. Возможно, Гейтс так никогда бы об этом не узнал, если бы его не просветил журналист New York Times, писавший о современных технологиях. Гейтс был явно обеспокоен этим открытием. Судя по его интервью Times, он чувствовал, насколько размыта грань между всеведением и предопределением – и как тщетны попытки выйти победителем из игры, где все ставки сделаны против вас. «Как алгоритм может понять меня, если он же и решает, что я буду делать? – сказал Гейтс. – Как обыграть компьютер, который создан, чтобы помешать тебе? Как остановить то, что предопределяет твою судьбу?»

Хотя эти непроницаемые технологии подвергаются нападкам со стороны организаций по защите гражданских прав, апологеты часто указывают, что традиционная судебная система тоже едва ли может похвастаться прозрачностью. Спросите судью, чем она руководствовалась при выносе приговора, и ее ответ будет не более достоверным, чем ответ алгоритма. «Человеческий мозг – это тоже „черный ящик“, – говорит Ричард Берк, профессор криминологии и статистики в Пенсильванском университете. Аналогичный вывод был сделан в работе, подготовленной корпорацией Rand, где отмечалось: «Мыслительный процесс судьи, как и COMPAS, – это „черный ящик“, который может выдавать непоследовательные и ошибочные решения». Часто так рассуждают люди, у которых есть свои интересы в технологической сфере, хотя эту позицию разделяют и большинство нейробиологов. Выражаясь словами Дэниела Деннета, мы не имеем «привилегированного доступа» к собственному мыслительному процессу. Отношение к человеческому сознанию как к «черному ящику» в итоге приводит к тому, что доверие к непрозрачной логике алгоритма представляется столь же оправданным, как и доверие к собственному разуму.