Итак, почему же все-таки ученые публикуют недостаточно обоснованные и спорные данные? Отчасти из-за того, что статистическая некомпетентность поражает не только неученых любителей. Но есть и другой, более удручающий фактор, базирующийся на иных мотивах: пристрастное отношение к публикациям и давление, оказываемое на ученых. Научные журналы редко склонны считать, что отрицательные результаты заслуживают публикации, а это вынуждает исследователей искать и находить связи между явлениями, рискуя тем, что они окажутся ложными. Такую политику журналов можно и нужно считать недальновидной. Отсутствие результата столь же ценно для наших знаний, как и значимо положительный результат. Намного полезнее знать, что данное лекарство не работает, чем прочитать в журнале неверное утверждение о том, будто оно эффективно.
Хуже того – в последнее время научное сообщество поразил тяжкий недуг, суть которого можно выразить известной максимой “публикуйся или умри”. Дело в том, что если ученый публикует мало положительных результатов, то его работу могут перестать финансировать – вознаграждение за количество в ущерб качеству грозит всем нам. По этой причине надо очень настороженно относиться к единичным исследованиям, особенно в области медицины и в других сферах, где более охотно рассматривают не механизмы, а корреляции. Статистически значимый результат еще не говорит о том, что он (результат) “реален”, и об этом надо всегда помнить.
Так получилось, что мы с Джоном Иоаннидисом занимались моделированием прессинга принципа “публикуйся или умри” и его влиянием на достоверность публикуемых научных данных. Итоги нашей работы нас нисколько не удивили. Мы показали, что господствующая в современной науке парадигма вознаграждает сомнительные результаты, оставляя в тени строго обоснованные исследования и тем самым лишь замораживая проблему. Наука держится на воспроизводимости; без нее результат не выдерживает критики. Соответственно, этот вопрос в последние годы стал обсуждаться более энергично.
Импульс обсуждению придали движения “Открытый доступ” и “Открытые данные”. Их организаторы призывают ученых представлять все результаты – и положительные, и отрицательные, – а также данные, использованные для обоснования выводов, чтобы к ним могли обратиться и другие исследователи.
Но существуют и другие мощные инструменты для сравнения нескольких исследований, в особенности если их результаты противоречат друг другу или разнятся технические средства их проведения. Одним из таких методов является
Итак, мы с вами уже рассмотрели несколько примеров того, как статистика и числа могут вводить нас в заблуждение и как логические ошибки могут сделать статистику абсолютно туманной и обманчивой. Голые цифры, лишенные контекста, способны произвести ложное впечатление, даже если сами по себе они точны, и могут потребоваться некоторая изощренность и умение задавать умные вопросы для того чтобы увидеть в этих числах тот месседж, который они на самом деле содержат. Статистика – мощный инструмент, но наша коллективная интерпретация статистических данных оставляет желать лучшего. Если мы действительно хотим получать пользу от статистики, нам следует не жалеть сил на то, чтобы улучшить наше понимание ее, а иначе мы неизбежно падем жертвой досадных заблуждений.