Зловещая долина. Что я увидела, попав в IT-индустрию

Я вошла в новую команду «Условия предоставления услуг», созданную для борьбы с наплывом полулегального контента и разбирательств с захлестнувшими техподдержку жалобами на материалы сомнительного содержания. Платформа программ с открытым исходным кодом, по сути, была файлообменником: пользователи загружали тексты, изображения, гифки и документы. Хотя интерфейс мог испугать непрограммиста, но, как в любой другой сетевой технологии на базе пользовательского бесплатного контента, имело место потребление и злоупотребление общественным продуктом.

Команда «Условий предоставления услуг» занималась удалением контента в связи с нарушением авторских прав, незаконным использованием чужого товарного знака, спамом, смертями пользователей и нарушениями «Закона о защите конфиденциальности детей в Интернете». Мы взяли на себя работу группы «Опасный материал», занимались оценками угроз применения насилия, разбирали мошенничества с криптовалютой, дела фишинговых сайтов, изучали предсмертные записки самоубийц и теории заговора. Ломали голову над сообщениями об обходе Великого файрволла. Получали пропущенные через машинные переводчики электронные письма, якобы от правительства России, и с крутящимся вопросительным смайликом передавали их в юридический отдел. Мы перелопачивали сообщения о преследованиях, спаме, о порномести, детской порнографии и террористических угрозах. Привлекали технически более подкованных сотрудников для изучения вредоносных программы и предположительно вредоносных программных кодов.

Невольно мы стали модераторами и поняли, что нам необходима политика в отношении контента. Мои товарищи по команде были широко мыслящими и умными, уверенными в своей правоте, но справедливыми. Однако говорить за всю платформу было практически невозможно, и никто из нас не обладал для этого специальными знаниями. Мы хотели действовать осторожно: ядро участников сообщества разработчиков программного обеспечения с открытым исходным кодом остро воспринимало корпоративный контроль, и мы не хотели пресекать ничей техноутопизм, уподобляясь карающей длани компании-государства.

Мы хотели быть на стороне прав человека, свободы слова и выражения мнений, творчества и равенства. В то же время платформа была международная, а кто из нас мог сформулировать последовательную позицию в отношении международных норм в области прав человека? Мы сидели в своих квартирах, работали на ноутбуках, купленных у компании бытовой электроники, превозносившей принципы разнообразия и либерализма на рабочих местах, но производившей продукцию на ужасных китайских заводах, с использованием меди и кобальта, добываемых в рабских условиях в Конго. Все мы из Северной Америки. Все мы белые двадцати-тридцати лет. Это не личный моральный изъян, просто это нам не помогало – мы знали, что у нас были мертвые зоны. Осознавали, что чего-то могли не знать.

Мы изо всех сил пытались провести границы. Пытались провести границу между политическими действиями и политическими взглядами, между восхвалением сильных людей и восхвалением насилия, между комментариями и намерениями. Пытались расшифровать хитрую иронию троллей. Мы совершали ошибки.

Разумеется, принятие решений сложно и неоднозначно, и, как и сам контент, подвержено толкованиям. Даже порнография была «серой зоной»: соски надо увязывать с контекстом, но мы не стремились быть пуританами. Художественная фотография кормящей женщины – не то же самое, что аватар персонажа аниме, изливающего молоко из неоправданно физиологичной груди. Но что такое искусство и кто мы такие, чтобы его определять?

Мы напомнили друг другу, что первостепенно намерение – приемлемы, например, репозитории, содержащие ресурсы для веб-сайтов по половому просвещению. Платформа должна быть образовательной. Но мы не хотели, чтобы, зайдя за программой управления пакетами, пользователи вместо этого наткнулись на фотки с гениталиями.

Порой я думала, знает ли руководство о порнографии или неонацистской болтовне на платформе? Или о том, что действующие из лучших побуждений сотрудники поддержки, нанятые за такие неосязаемые качества, как здравый смысл и скрупулезность, постоянно заставляют юридический отдел давать трактовки и приводить в исполнение то, что понималось как позиция компании в отношении свободы слова.

Большинство в компании, похоже, не ведали о том, как часто нашими инструментами злоупотребляют. Не ведали даже о существовании нашей команды. Их вины тут не было – заметить нас было нелегко. Нас было четверо на девять миллионов пользователей платформы.