В интернете кто-то неправ! Научные исследования спорных вопросов

Разумеется, система рецензирования не дает абсолютной гарантии, что в журнал никогда не просочится ерунда. Такое исследование может показаться рецензентам вполне корректным, и они его пропустят. Дальше есть два варианта: если это мелкое и неважное исследование (или исследование, чьи результаты хорошо согласуются с уже известными данными), то на этом история и закончится. Но если исследование яркое и удивительное, то после его выхода приключения только начинаются.

Во-первых, до публикации описание эксперимента прочитали всего лишь два-три специалиста (авторам работы, впрочем, в большинстве случаев не сообщают их имена, так что найти и подкупить их невозможно), а вот после публикации исследование будут читать сотни ученых, работающих в той же области. Они не поленятся написать в редакцию, если увидят в статье грубые методологические ошибки, нарушение правил статистической обработки данных или еще какие-то проблемы. Лавина обоснованной критики может привести и к отзыву статьи, причем относительно быстрому, в течение года-двух. Это означает, что статья сохраняется на сайте журнала, но перечеркнута яркой надписью RETRACTED

и где-то рядом есть ссылка на пояснение: что случилось и почему уже опубликованную статью признали недостоверной. Так произошло, например, со статьей Сералини про то, что генетически модифицированная кукуруза якобы вызывает опухоли у крыс (см. соответствующую главу). А могут не отозвать статью, но дополнить ее страницу на сайте журнала ссылками на критические разборы экспертов, чтобы все читатели знали, почему к этим данным следует относиться с осторожностью. Во-вторых, многие научные группы, заинтересованные в той же тематике, попытаются воспроизвести результаты исследователей-первопроходцев. Они будут ставить такие же эксперименты; будут ставить похожие эксперименты с изменениями в деталях; будут искать взаимосвязь между ежиками и астмой какими-то альтернативными методами. Если будет проведено множество тщательных исследований на больших выборках и ни у кого не получится найти никакой связи даже близко (и кроме того, будут существовать сомнения в том, что первоначальная работа была выполнена корректно), это может привести к тому, что журнал отзовет статью уже лет через десять после публикации — так произошло с исследованием Уэйкфилда про связь между прививками и аутизмом (эта история тоже есть у меня в книжке). Наконец, возможна ситуация, когда в разных исследованиях одной и той же проблемы получились не вполне совпадающие или даже противоречащие друг другу результаты. Это довольно часто бывает — мало ли у кого какие мелкие отличия в выборках и методиках. Здесь спасают систематические обзоры и метаанализы — работы, авторы которых собирают в кучу 50 исследований одной и той же проблемы и формулируют общие выводы. Это практически всегда более достоверный источник, чем любая отдельно взятая исследовательская работа.

Важно осознавать, что именно публикация в рецензируемом журнале — это элементарная единица нового научного знания. Абсолютно все остальные формы представления информации менее надежны. Официальные отчеты всяких серьезных организаций типа ООН — это ценнейший источник статистических данных, но даже при их чтении стоит держать в голове, что выводы рождены внутри организации под влиянием ее политики и не верифицировались независимыми исследователями. В университетском учебнике автор может недостаточно четко провести границу между тем, что доказано в лабораторных экспериментах, и тем, что просто выглядит логичным, а рецензенты учебника могут быть его друзьями и смотреть на лирические отступления сквозь пальцы (конечно, когда там нет чего-то откровенно сомнительного). В выступлении на конференции ученый может акцентировать яркие стороны своего исследования и умолчать о тех серьезных проблемах, с которыми столкнулся. В интервью он тем более может запросто это сделать. Полет фантазии научного журналиста не сдерживает ничто, кроме опасений за профессиональную репутацию (она трудно и долго формируется, легко разрушается и очень сильно влияет на карьерные перспективы). У обычного журналиста, который берется писать о науке, нет и этого: количество кликов и перепостов, как правило, интересует его редактора гораздо сильнее, чем достоверность опубликованной информации. То есть существует некая иерархия источников по степени достоверности, в которой статьи в рецензируемых журналах стоят особняком, на первом месте, с большим отрывом от любых других типов публикаций. И по-хорошему любой приличный человек, который хочет не просто поругаться в интернете, но и разобраться в том, как все устроено, должен ссылаться в первую очередь на них.