Эта идея должна умереть. Научные теории, которые блокируют прогресс

Отказ от следования ритуалу может вызывать немалую тревогу, даже когда в этом ритуале нет особого смысла. В одном исследовании (имена авторов в данном случае не имеют значения) пользователей интернета спрашивали, есть ли разница между героизмом и альтруизмом. Подавляющее большинство респондентов (2347 человек, 97,5 %) ответили «да»; лишь 58 сказали «нет». Что же сделали авторы с этой информацией? Они рассчитали распределение хи-квадрат, вычислили, что c 2(1) = 2178,60, что P < 0,0001, и пришли к поразительному выводу, что на самом деле «нет» сказало больше людей, чем «да».

Один из признаков обсессивно-компульсивного расстройства – ритуал компульсивного мытья рук, даже если в этой процедуре нет никакой необходимости. Аналогичным образом исследователи, придерживающиеся нулевого ритуала, постоянно делают статистические выводы, даже в ситуациях, когда это не нужно, – например, когда у нас нет случайной выборки из общей совокупности или когда мы в принципе не дали никакого определения этой совокупности. В таких случаях мы вообще не можем применять статистическую модель с участием случайной выборки из общей совокупности и вместо нее используется описательная статистика. Поэтому даже если вам удается рассчитать статистически значимое Р-значение, совершенно неясно, о какой общей совокупности идет речь.

Проблема состоит не в статистике, а в ее ошибочном использовании как автоматической машины для создания выводов.

И наконец, подобно тому как обсессивно-компульсивное расстройство и бесконечное мытье рук могут ухудшать качество жизни, стремление рассчитывать статистически значимые P-значения может подрывать качество исследований. Это выражается следующим образом.

Поиск статистически значимых теорий заменяется поиском значимых Р-значений. Такая подмена цели приводит к появлению сомнительных исследовательских практик: избирательности выводов, когда сообщается лишь о случаях, когда результаты «сработали», или исключению некоторых данных после изучения их влияния на результаты. Из примерно 2 тысяч психологов, принявших участие в исследовании, проведенном в 2012 году журналом Psychological Science

, свыше 90 % признались в том, что хотя бы раз применяли одну или несколько сомнительных исследовательских практик. Столь существенный масштаб подмены, направленной на создание статистически значимых P-значений, оказывается более вредным для прогресса, чем редкие случаи откровенного мошенничества.

Одним из этих вредных результатов можно считать то, что вокруг нас бушует настоящий потоп опубликованных, однако невоспроизводимых результатов. Генетические и медицинские исследования на основе Больших данных постоянно сталкиваются с подобной проблемой, когда кто-то безуспешно пытается повторить опубликованные результаты.

Я не хочу выплескивать вместе с водой ребенка: статистика предлагает очень полезный инструментарий для исследователей. Однако пришло время избавиться от статистических ритуалов, приводящих к автоматическим и бессмысленным выводам. Ученым следует изучать ритуалы, а не следовать им.

Сила статистики

Эммануэль Дерман

Профессор кафедры финансового инжиниринга, Колумбийский университет; бывший руководитель группы количественных стратегий, отдел ценных бумаг компании Goldman Sachs; автор книги Models. Behaving. Badly («Модели. Которые. Плохо. Себя. Ведут»).

Я вырос в среде физиков, modus operandi которых предполагает наблюдение явлений, эксперименты с ними, разработку гипотез, теорий и моделей. Физики предлагают всё новые эксперименты и используют статистику для анализа результатов, чтобы сравнить свои умозрительные построения с реальностью. Статистика для физика – это просто инструмент для подтверждения или отрицания теории.

Однако в наши дни мир, и особенно мир общественных наук, почему-то влюбился в статистику и науку о данных как в источник знания и самой Истины. Кое-кто даже заявляет, что статистический анализ закономерностей придет на смену нашим традиционным методам познания окружающего мира – не только в области общественных наук и медицины, но также в области естественных наук.

Нам следует вести себя крайне осторожно, чтобы не слишком поддаться очарованию статистики и науки о данных и в результате отказаться от классических методов открывания истин о природе (а человек – это тоже часть природы).