Ни кошелька, ни жизни. Нетрадиционная медицина под следствием

Достоинства метаанализа станут очевидны, если мы попробуем разобраться с некими гипотетическими наборами данных по астрологии. Если бы ваш характер определялся знаком зодиака, по результатам беседы с вами астролог должен был бы его определить. Представьте, что пять конкурирующих групп проводят эксперименты в разных уголках земного шара. В каждом случае одного и того же астролога просят после пятиминутного разговора с клиентом сказать, под какой звездой он родился. В экспериментах участвует от 20 до 290 человек, однако протокол всех экспериментов одинаков.

Просто угадывая, удавалось бы дать правильный ответ в одном случае из двенадцати, так что астролог, чтобы доказать могущество астрологии, должен верно определять знак зодиака значительно чаще. Результаты пяти экспериментов оказались такими:

Эксперимент 112 правильных догадок из 170 (или 0,85 из 12)

Эксперимент 21

5 правильных догадок из 50 (или 1,20 из 12)

Эксперимент 315 правильных догадок из 20 (или 3,00 из 12)

Эксперимент 41

6 правильных догадок из 70 (или 1,03 из 12)

Эксперимент 521 правильная догадка из 290 (или 0,87 из 12)

Если рассматривать третий эксперимент отдельно, кажется, будто астрология работает, поскольку пять верных предположений из двадцати – это гораздо больше, чем можно было просто угадать. Более того, в большинстве экспериментов (в трех из пяти) количество верных догадок выше ожидаемого, так что вполне можно было бы решить, что результаты в целом демонстрируют необычные возможности астрологии. Однако метаанализ приводит к другому выводу.

Метаанализ начался бы с замечания, что количество попыток, сделанных астрологом в каждом эксперименте, было достаточно мало, а следовательно, результаты каждого эксперимента можно объяснить чистой случайностью. Иначе говоря, результат любого из этих экспериментов, по сути, не имеет смысла. Затем исследователь, проводящий метаанализ, объединил бы все данные отдельных экспериментов, словно они были частью одного большого опыта. Получилось бы, что астролог верно определил знак зодиака у 49 человек из 600 (или у 0,98 из 12), а это уже очень близко к доле успешных угадываний по чистой случайности (1 из 12). Итак, вывод этого гипотетического метаанализа состоял бы в том, что астролог не продемонстрировал никаких способностей, позволяющих определять знак зодиака человека по чертам его характера. Такой вывод гораздо надежнее всего, что можно было бы заключить из любого эксперимента меньшего масштаба. Выражаясь научным языком, можно сказать, что метаанализ минимизирует случайные и систематические ошибки.

Вернемся к медицинским исследованиям. Метаанализы проводили для оценки самых разных методов лечения. Например, в 1980-х годах исследователи решили узнать, помогает ли кортикостероидная терапия в профилактике респираторных заболеваний у недоношенных младенцев. Ученые разработали протокол испытаний, согласно которому беременным женщинам с повышенным риском преждевременных родов проводили кортикостероидную терапию, а затем наблюдали рожденных ими детей. В идеале нужно было провести одно испытание в конкретной больнице, охватив большое число женщин, однако за год в каждой отдельно взятой больнице можно было выявить лишь единицы подходящих случаев, а значит, при таком отборе испытуемых на накопление достаточного количества данных ушли бы годы. Вместо этого ученые провели несколько испытаний в разных больницах. Результаты по каждой были свои, поскольку младенцев было мало, а влияние случайных факторов велико. Однако метаанализ всех испытаний достоверно показал, что кортикостероидная терапия во время беременности благотворно влияет на недоношенных новорожденных. Эта терапия – одна из причин резкого снижения смертности от респираторного дистресс-синдрома среди новорожденных: в начале 1950-х годов в Америке от него гибло 25 000 младенцев, а сегодня – меньше 500.

Провести метаанализ при исследовании состояния недоношенных младенцев не составило большого труда, поскольку отдельные испытания проходили по похожей схеме, а следовательно, их результаты легко объединялись. То же можно сказать о гипотетическом примере с астрологией. К сожалению, часто это тяжелая работа, ведь отдельные испытания, как правило, проводятся совсем по-разному: например, в случае проверки одного и того же лекарственного средства различаются дозировки, период наблюдения и так далее. Метаанализ, который задумал осуществить Линде, представлялся особенно проблематичным. Чтобы сделать вывод об эффективности гомеопатии, ученый собирался охватить испытания широкого диапазона гомеопатических средств в самых разных разведениях при различных заболеваниях – от легких ожогов до астмы.