Остановись и подумай: Идеи и стратегии, помогающие принимать верные решения

Большинство ученых – порядочные люди, действующие из лучших побуждений. Большинство, но не все. Наука – сфера напряженной деятельности и жесткой конкуренции, где на кону стоят большие деньги и репутация. Если бы ожидаемый результат эксперимента (а вместе с ним признание и многомиллионные гранты) зависел от каких-то на первый взгляд незначительных данных, разве вы не почувствовали бы соблазн проигнорировать эти неудобные данные? Вы и правда считаете, что другие люди будут всегда поступать правильно, даже когда в глубине души искренне верят, что их гипотеза истинна, а противоречащая их позиции информация – всего лишь случайность, и не более? Вот как раз из-за такой веры в свою правоту и желания получить признание и гранты мы и оказались в ситуации, когда 35 % научных исследований не могут быть воспроизведены другими учеными{88}, а в научных работах с заметной регулярностью появляются фотографии, обработанные с помощью графических редакторов{89}.

Важно понимать, что ученые тоже люди. Они страдают от тех же когнитивных искажений, что и все мы: ищут доказательства, подтверждающие их правоту, и не обращают внимания на то, что может привести к когнитивному диссонансу. Несмотря на то что в науке есть система защитных механизмов, призванных предотвратить фальсификацию данных, – рецензирование, рекомендации по планированию клинических исследований, статистические анализы, – человеческая природа все равно берет свое. Поэтому ученые предпочитают не публиковать те результаты исследований, которые противоречат их гипотезам, а благоприятные выводы пытаются выставить в самом выгодном свете.

В идеальном мире мы с вами были бы настолько сильны в статистике, что смогли бы сразу понять, соответствует ли нужный индикатор статистической значимости z-критерию, p-критерию, f-критерию, критерию хи-квадрат или одному из десятков других критериев, каждый из которых связан с именем какого-нибудь ученого (Пирсон, Уилкоксон, Кохрен, например). Но мы живем не в идеальном мире (и хорошо: у меня, например, и без анализа статистики дел полно), и поэтому приходится доверять экспертам. К счастью, львиную долю злоупотреблений статистикой можно обнаружить уже в плане научного исследования, и проанализировать их нам вполне под силу.

В общем и целом хорошее научное исследование должно обладать всем нижеперечисленным:

1. Широкая выборка, в идеале сотни или тысячи испытуемых.

2. Контрольная группа, которая получает лечение, соответствующее текущим стандартам, – это даст информацию, с которой можно будет сравнивать данные об эффективности нового лечения. Если стандарты лечения никак не определены, то контрольной группе должны дать плацебо: это лучше, чем ничего.

3. Беспристрастный ведущий научный сотрудник, который нашел для исследования незаинтересованного спонсора.

4. Использование двойного слепого метода исследования, чтобы ни его участники, ни сами ученые не знали, какой группе что давали, – это исключит предвзятость.

5. Рецензия на исследование, опубликованная в уважаемом научном журнале, который в идеале должен обладать высоким импакт-фактором (импакт-фактор показывает, как часто на него ссылаются другие академические издания){90}

.

Если исследование не соответствует любой из этих пяти характеристик, следует усомниться в его выводах. Оно может быть довольно значимым, но в нем, скорее всего, скрыты предубеждения ученых, которые будет тяжело обнаружить и распутать, а это значит, что нам потребуется больше данных для того, чтобы окончательно убедиться в достоверности его результатов.

Помните о следующих ментальных моделях, когда читаете научные статьи:

1. Регрессия к среднему: зачастую бывает трудно воспроизвести результаты исследования, и на то есть причины. Не забывайте о том, что если 10 ученых будут по отдельности изучать одно и то же явление (скажем, эффективность генетических анализов), результаты работы опубликует лишь тот, кто добился наибольшего успеха, а остальные просто тихо свернут свои проекты. Если конкретный генетический анализ эффективен в 90 % случаев, но его результаты подвержены влиянию элемента удачи, то в первом опубликованном исследовании автор может заявить о его 95 %-ной эффективности. Только со временем, когда у нас накопится достаточно данных из других исследований, мы узнаем, что анализ на самом деле эффективен в 90 % случаев.

2. Статистическая значимость: чтобы прийти к статистически значимому результату, научная работа должна аккумулировать достаточно информации. Следовательно, эксперименты с небольшой выборкой вряд ли приведут к адекватному выводу – только если результаты исследуемой группы не сильно отличаются от показателей контрольной группы. Предположим, перед вами исследование с небольшим количеством данных (скажем, лекарство давали группе из 10 человек), поэтому вполне вероятно, что на его итоги оказала влияние воля случая – опять же, только если результаты не ошеломляющие (например, все 10 человек вылечились от болезни).