Бог, человек, животное, машина. Поиски смысла в расколдованном мире

Но эти технологии вызывали и немало опасений. Многие формы машинного обучения считаются технологическими «черными ящиками» – мы не можем определить, что именно происходит у них внутри. Они состоят из множества слоев нейронных сетей, и невозможно узнать, как выглядит модель реальности, которую они строят на основании своего опыта. В процессе обучения в них формируются внутренние узлы, отвечающие за обнаруженные ими абстрактные признаки или соотношения, но эти признаки и соотношения не соответствуют никаким понятиям в человеческом языке. (Даже алгоритмы, обладающие сверхъестественной способностью распознавать, скажем, собак на фотоснимках, не имеют ни малейшего представления о том, что такое собака, а просто улавливают закономерности в потоке данных.) Если бы вы попытались зафиксировать все, что делают нейронные сети между вводом и выводом данных, у вас получились бы миллиарды арифметических операций – «объяснение», которое было бы невозможно понять. Когда AlphaGo выиграл матч в Сеуле, даже его создатель Дэвид Сильвер не смог объяснить логику неожиданного хода алгоритма. «Он открыл его для себя, – сказал Сильвер, – в процессе рефлексии и анализа». Хотя специалисты пробовали, и не раз, расшифровать подобные процессы постфактум, похоже, что усилия свести их к простым и однозначным объяснениям так же бесплодны, как попытки проделать то же самое с человеческим мышлением (профессор лаборатории искусственного интеллекта в Uber назвал такие усилия «искусственной нейробиологией»). В большей степени, чем любая другая технология, эти алгоритмы отвечают призыву Андерсона отказаться от стремления к пониманию ради объективного знания. Чтобы иметь доступ к высшему знанию, которым владеют машины, мы должны отказаться от желания знать «почему» и принять результаты как чистое откровение.

Винер чувствовал, что в машинном обучении есть что-то по сути своей религиозное, но, возможно, неверно распределил роли в драме Иова. Алгоритмы машинного обучения – это не изобретательный дьявол, который перехитрил собственного создателя. Вместо этого они стали абсолютным властелином, требующим слепого подчинения. По мере того как эти технологии все больше интегрируются в сферу общественной жизни, многие люди обнаруживают себя в положении Иова: они лишены права знать, почему им отказали в кредите, уволили с работы или предсказали возможность развития рака. Избежать сравнения с Божьим судом особенно трудно, учитывая, что наша судебная система превратилась в настоящую экспериментальную лабораторию по машинному обучению. Хотя статистический анализ использовался в полиции с середины 1990-х годов, сегодня многие службы в сфере правопорядка опираются на прогностические алгоритмы, чтобы обнаруживать очаги преступности. Одна из таких систем, PredPol, утверждает, что она предсказывает места преступлений в два раза точнее, чем аналитики-люди. Система, опирающаяся на данные о прошлых преступлениях, помечает красными рамками на карте границы районов или отдельных городских кварталов, которые считает местами повышенного риска. Как отмечает Джеки Ванг в своей книге «Карцеральный капитализм», если верить рекламным публикациям о PredPol, кажется, что система чуть ли не обладает даром ясновидения. В них приводятся, например, истории о том, как полицейские выезжали в места повышенного риска и обнаруживали там правонарушителей прямо в процессе совершения преступления.

Сторонники этой технологии отрицают сходство с фильмом «Особое мнение» (2002): там полиция принуждает людей, наделенных экстрасенсорными способностями, предсказывать преступления, чтобы можно было арестовывать будущих «преступников» до того, как они нарушат закон. Один из пиар-стратегов PredPol заявил, что функционирование программы – это не научная фантастика, а «научный факт», и подчеркивал, что алгоритмы абсолютно нейтральны и объективны. Использование этой программы часто позиционируется как способ снизить влияние расистских предрассудков на работу правоохранительных органов. Один из создателей PredPol утверждал, что, поскольку алгоритмы фокусируются на таких «объективных» факторах, как время, место и дата возможных преступлений, а не на демографических характеристиках отдельных преступников, программное обеспечение «потенциально уменьшает роль любых расовых или социально-экономических предубеждений среди офицеров».