Машина, платформа, толпа. Наше цифровое будущее

• Профессора права Тед Ругер и Полин Ким совместно с политологами Эндрю Мартином и Кевином Куинном провели тест, чтобы проверить, может ли простая модель с шестью переменными предсказать решения Верховного суда США на 2002 год лучше, чем группа из восьмидесяти трех известных экспертов[112]. Из привлеченных к эксперименту юристов 38 человек работали помощниками судей Верховного суда, 33 были профессорами права, а шестеро в настоящее время или в прошлом возглавляли юридические факультеты. В среднем представителям этой группы удалось предсказать чуть меньше 60 процентов судебных постановлений. Алгоритм же дал 75 процентов правильных результатов.

Является ли этот список репрезентативным и честным, или мы намеренно, а может, даже неосознанно выбрали случаи, когда человеческое суждение проигрывало алгоритму, оставив без внимания примеры превосходства человека? Впечатляющий объем исследований показывает, что статистика все же на нашей стороне.

Группа под руководством психолога Уильяма Гроува просмотрела литературу за пятьдесят лет в поисках опубликованных рецензируемых примеров прямых сравнений между клиническими и статистическими прогнозами (то есть сравнений оценок квалифицированных экспертов и прогнозов на основе компьютерного анализа данных) в сфере психологии и медицины[113]

. Они нашли 136 таких исследований, которые охватывали всё – от тестирования IQ до диагностики сердечных заболеваний. В 48 процентах этих работ значимой разницы обнаружено не было – иными словами, эксперты в среднем угадывали правильный результат не лучше компьютера.

Гораздо более сильный удар по идее превосходства человека в оценочном суждении нанес тот факт, что в 46 процентах рассмотренных исследований эксперты действовали значительно хуже, чем алгоритм. Это означает, что люди продемонстрировали явное превосходство только в 6 процентах случаев. Авторы пришли к заключению, что почти во всех исследованиях, где люди оказывались лучше, «у специалистов было больше данных, чем у программы»[114]. Как заметил легендарный психолог Пол Мил, который еще в начале 1950-х годов описывал посредственные результаты суждений людей-экспертов:

В социальных науках не ведутся споры о том, что именно показывает настолько масштабный корпус появившихся недавно качественно разнообразных исследований, ведущихся в едином направлении, одним из которых является это [сравнение статистического и клинического прогнозов]. Когда у вас больше ста работ, прогнозирующих всё – от результатов футбольных матчей до диагностики заболеваний печени, – и при этом вы с трудом можете наскрести полдюжины исследований, где есть хотя бы слабый уклон в пользу клинического прогноза, самое время сделать некий практический вывод[115]

.

Мы считаем, что этот практический вывод таков: нам нужно меньше полагаться на суждения и прогнозы экспертов.

Все больше и больше американских компаний приходят к тому же заключению. Работая с Бюро переписи населения США, Эрик и Кристина Макэлерен (сейчас профессор Университета Торонто) при изучении репрезентативной выборки из 18 тысяч заводов установили, что переход к принятию решений на основе данных значительно ускорился. Катализатором этого стало активное применение информационных технологий и значительное улучшение работы компаний, принявших такой подход[116]

.

Несмотря на убедительные примеры, нам стоит перестать петь дифирамбы алгоритмам и сделать несколько важных оговорок. Прежде всего, чтобы сравнивать человеческое суждение с его математической моделью, нужно иметь такую модель. Согласно парадоксу Полани, это не всегда возможно. Модели нужно тестировать и оттачивать на многочисленных сходных примерах, поскольку каждая из них описывает только какое-то подмножество решений, которые могут принимать люди. Впрочем, общая идея ясна и подтверждается раз за разом: если грамотно создать и испытать модель, то в целом она будет работать так же хорошо, как эксперты, принимающие аналогичные решения (или даже лучше). Тем не менее мы продолжаем опираться на человеческие суждения там, где лучше справляются машины.

Человеческий ум: гениальный, но склонный к ошибкам