Бог, человек, животное, машина. Поиски смысла в расколдованном мире

Самый известный современный пересказ книги Иова – хотя антиутопический антураж заслонил в глазах читателей библейскую подоплеку – это «Процесс» Кафки. Роман рассказывает историю Йозефа К., анонимного банковского служащего, которого однажды утром арестовывают, не объясняя сути его преступления. Пытаясь доказать свою невиновность, он вступает в противостояние с таинственной системой правосудия, которую, кажется, не понимает никто, включая ее собственных служащих и посланцев. Судебная система имеет на него какое-то досье и пугающе подробно осведомлена о его прошлых поступках, но он так и не может понять, почему его допрашивают и в каком преступлении обвиняют. Нортроп Фрай назвал этот роман «своего рода мидрашем на книгу Иова», в котором непроницаемая природа божественного правосудия переосмысляется как бюрократический лабиринт. В XX веке новым воплощением Иеговы, скрывающегося в вихре, становится непоколебимое и угрожающее здание Государства.

Дэниел Дж. Солов, профессор юриспруденции, занимающийся вопросами конфиденциальности и сбора данных, считает, что роман опередил свое время, предсказав дилемму современного человека в мире информационных технологий.

Тревоги по поводу сбора данных и прогностической аналитики, по его словам, слишком часто облекаются в фантазии в духе Оруэлла – что государство будто бы ежеминутно следит за нашими частными жизнями, выжидая, чтобы мы обнаружили свою политическую неблагонадежность. На самом деле уместнее было бы вспомнить Кафку. Таким угрожающим бюрократическое государство делают его безликость и отсутствие внятного намерения и смысла. «В „Процессе“ изображается бюрократическая система, цели которой непостижимы и которая использует имеющиеся у нее сведения о людях, чтобы выносить решения, – но не информирует людей о том, как именно используются эти сведения, – пишет Солов. – Зло, причиняемое Йозефу К. – это зло бюрократическое: безразличие, ошибки, злоупотребления, чувство бессилия, невозможность разобраться что к чему и призвать кого-либо к ответу».

По мере распространения технологий «черного ящика» все чаще звучали требования повысить их прозрачность. В 2016 году Общий регламент Европейского союза по защите данных включил в свои положения «право на объяснение», заявив, что граждане имеют право знать причину автоматизированных решений, которые касаются их самих. Хотя в США подобных мер принято не было, технологические компании стали чаще объявлять о своей приверженности принципам «прозрачности» и «объяснимости» – хотя бы для того, чтобы укрепить доверие потребителей. Ряд компаний утверждает, что они разработали методы, которые анализируют уже проанализированное и ищут точки данных, способные повлиять на решение машины, – хотя эти объяснения в лучшем случае остаются интеллектуальными догадками. (Сэм Ритчи, бывший инженер-программист компании Stripe, предпочитает термин «нарративы», поскольку в таких объяснениях не описывается пошаговый процесс принятия решений, а выдвигается предположение о том, какую стратегию рассуждения алгоритм мог использовать.) Иногда объяснения поступают от совершенно другой системы, обученной генерировать ответы, которые должны убедительно объяснить решения, принятые первой машиной, – а на самом деле эти две системы полностью автономны и никак не связаны друг с другом. Эти объяснения только вводят в заблуждение и в конечном итоге запутывают потребителя еще сильнее. «Теперь проблема усугубляется тем, – пишет критик Катрин Пассиг, – что скрывается даже сам факт отсутствия объяснения».

Впрочем, в известном смысле дебаты о том, можно ли объяснить решения алгоритмов, – это хитрая уловка, отвлекающая внимание от реальных препятствий на пути к прозрачности, юридических и экономических. Система COMPAS, использованная в деле Эрика Лумиса из Висконсина, которому было отказано в праве знать, на основании каких критериев алгоритм приговорил его к тюремному заключению, на самом деле не принадлежала к технологиям «черного ящика»: это был алгоритм, разработанный частной фирмой и защищенный законом об авторских правах. В числе компаний, разрабатывавших технологии «черного ящика» для правительственных систем, есть такие гиганты, как Google, Amazon, Palantir и Facebook. Разумеется, они не спешат раскрывать информацию о том, как работает их программное обеспечение (даже когда это возможно), чтобы конкуренты не получили доступа к их разработкам. Учитывая, что эти машины интегрированы в огромные и сами по себе непостижимые системы, созданные для зарабатывания денег, все более размытой становится граница между машинами, принципы работы которых для нас непроницаемы, и машинами, принципы работы которых от нас целенаправленно скрывают. Нам не только не дано знать, какими сведениями о нас располагают эти машины; нам не дано знать, почему нам не дано это знать.