Специалисты по общественным наукам в массе своей настолько привыкли к ритуалу проверки на статистическую значимость, которой озабочены с младых ногтей, что позабыли логику, которая за ней стоит. Я понял это, сотрудничая с лингвистом-теоретиком Джейн Гримшоу, которая, поднаторев в статистике, однажды сказала мне: «Давай-ка разберемся: единственное, что эти тесты показывают, так это то, что, если эффекта не существует, один из двадцати ученых, которые его ищут, будет утверждать, что эффект есть. Почему ты так уверен, что это не ты?» Честный ответ: ни почему. За ее скептицизмом кроется еще одно объяснение кризиса воспроизводимости. Допустим, подобно кэрролловским охотникам на снарка, двадцать ученых гоняются за неким миражом. Девятнадцать прячут свои нулевые результаты поглубже в ящик стола, а тот единственный, кому повезло (или не повезло) совершить ошибку первого рода, публикует свое «открытие»[305]
. В одном выпуске комикса XKCD пара ученых проверяет наличие корреляции между поеданием мармеладных драже и подростковыми угрями отдельно по двадцати цветам и пожинает лавры, увязав зеленые драже с прыщавостью с p < 0,05[306]. До ученых наконец дошла эта шутка: они приучаются публиковать нулевые результаты и разрабатывают методики, способные компенсировать проблему «ящика стола» при метаанализе литературы, то есть исследовании исследований. Отсутствие нулевых результатов бросается в глаза, и тот, кто проводит метаанализ, может зафиксировать не только то ничто, которое есть, но и то, которого нет[307].Постыдное непонимание смысла проверки на статистическую значимость сообщает нам нечто важное о человеческих устремлениях. Философы, начиная с Юма, отмечали, что индукция — переход от отдельных наблюдений к общему выводу — по природе своей ненадежный вид логического рассуждения[308]
. Через любое конечное множество точек можно провести бесконечное число кривых; любому набору данных может логически не противоречить бесконечное множество теорий. Инструменты рациональности, о которых я рассказал в этих главах, предлагают разные способы совладать с таким вселенским невезением. Теория статистических решений не позволяет отыскать истину, но позволяет ограничить ущерб от ошибок первого и второго рода. Байесовское мышление помогает устанавливать степень уверенности в истине, но начинать тут всегда нужно с вычисления априорной вероятности, при всей присущей этому процессу субъективности. Однако ни та ни другая теория не может дать нам того, чего мы все так жаждем, — готового алгоритма установления истины.Глава 8. Я и другие (теория игр)
Ваша рожь поспела сегодня; моя будет готова завтра; для нас обоих выгодно, чтобы я работал с вами сегодня и чтобы вы помогли мне завтра. Но у меня нет расположения к вам, и я знаю, что вы также мало расположены ко мне. Поэтому ради вас я не возьму на себя лишней работы, а если бы я стал помогать вам ради себя самого в ожидании ответной услуги, то знаю, что меня постигло бы разочарование и что я напрасно стал бы рассчитывать на вашу благодарность. Итак, я предоставляю вам работать в одиночку; вы отвечаете мне тем же; погода меняется; и мы оба лишаемся урожая вследствие недостатка во взаимном доверии и невозможности рассчитывать друг на друга.