Эта книга сделает вас умнее

Будет сложно понять результат любых исследований, если вы совсем не понимаете, что означает обнаружение (или необнаружение) «статистически значимой разницы». К сожалению, старая поговорка «полузнание хуже незнания» уместна и здесь. Проблема заключается в том, что слово «значимость» в повседневной речи имеет совершенно другое значение, не то, в каком используется при описании результатов исследований.

Обычно это слово значит, что случилось что-то важное. Например, если врач говорит, что после операции вы почувствуете себя значительно лучше, вы справедливо заключите, что ваша боль ощутимо уменьшится. Но в выражении «статистически значимая разница» слово «значимая» означает, что результаты вряд ли объясняются случайностью (если нулевая гипотеза верна), при этом сами результаты необязательно должны быть важными. Более того, иногда вывод оказывается ошибочным, поскольку исследователи могут его подтвердить лишь с определенной долей вероятности. «Статистически значимая разница» – основная концепция исследований и статистики, но как хорошо знают все, кто изучал статистику, эту идею нельзя назвать интуитивно понятной.

Хотя термин «статистически значимая разница» несет кластер важных для науки идей, многие ученые мужи были бы рады удалить его из словаря, потому что его часто понимают неправильно. Этот термин подчеркивает связь науки и теории вероятности, но, несмотря на свою популярность (или вследствие нее), он временами подразумевает то, что подразумевать не должен, и это вводит общество в заблуждение. Даже специалисты часто заблуждаются. Возьмем гипотетический пример: в некоем основательном исследовании сравнивали эффективность двух лекарств по отношению к плацебо. Может получиться следующее: препарат «Х» статистически значимо отличается от плацебо, а препарат «У» – нет. И при этом между препаратами «Х» и «У» статистически значимой разницы нет. Такое возможно, если эффективность «Х» статистически значимо отличается от плацебо с вероятностью р<.04, а эффективность «У» статистически значимо отличается от плацебо лишь с вероятностью р<.06, что выше обычных принятых уровней проверки статистически значимой разницы. Если у вас от этих примеров болит голова, то вы относитесь к большинству, которое полагает, что понимает эту критически важную концепцию, лежащую в сердце научного метода, но на самом деле имеет о ней самое поверхностное представление.

Лучшее понимание связанных с этим термином ловушек сделало бы нас намного умнее. Этот термин подразумевает, что а) результаты могут быть неважными и б) выводы, основанные на наличии или отсутствии статистически значимой разницы, могут быть ошибочными. Использование статистически значимой разницы – основа научного метода, который (со всеми своими ограничениями и недопониманиями) намного превосходит любые альтернативные пути познания мира. Добавив этому понятию пару ключевых концепций, можно намного повысить уровень образованности общества.

Эффект обманебо

БЕАТРИС ГОЛОМБ

Доцент медицинского факультета Университета Калифорнии (Сан-Диего)

Я хочу сказать об «эффекте обманебо» (производное от слов «обманывать» и «плацебо»), то есть о чрезмерно свободном использовании терминов, что затрудняет, а не облегчает понимание вопроса.

В общий лексикон вошли слова и фразы, означающие определенные концепции: бритва Оккама, плацебо, Хоторнский эффект. В принципе такие термины облегчают диалог и делают речь экономнее, так как избавляют от необходимости утомительных описаний принципов и допущений. К сожалению, без необходимости проговаривая условия и допущения, на которые опирается термин, можно неверно оценить, насколько эти условия и допущения в данном случае применимы. И тогда использование термина будет лишь мешать взаимопониманию.

Возьмем, к примеру, «плацебо» и «эффект плацебо». Если разбираться, то, согласно определению, плацебо – это нечто физиологически инертное, что принимающий его человек считает активным. Термин «эффект плацебо» описывает улучшение состояния после приема плацебо – это объясняют эффектом ожидания.

В обыденной речи эффект обманебо, с которым его ассоциируют, присутствует повсеместно. Ключевые предположения, касающиеся плацебо, как правило, оказываются ошибочными.

1. Услышав слово «плацебо», ученые полагают, что речь идет о чем-то «инертном», при этом не задаются вопросом: а что вообще может быть физиологически инертной субстанцией? Действительно, чем такая субстанция может быть в принципе? До сих пор не описано ничего полностью физиологически инертного.