Честная ложь. Почему мы продолжаем верить в то, что портит нам жизнь

Скажем, мы имеем дело с предсказателем, который, чтобы производить впечатление серьезного ученого, называет себя футурологом. Он предсказывает вам, выиграет ли ваша любимая футбольная команда. Неделю за неделей на ваш электронный почтовый ящик приходит письмо, содержащее всего одну букву: «В» – для выиграет, «П» – для проиграет или «Н» – для ничьей. После 5 правильных предсказаний отправитель спрашивает, не хотите ли вы оформить платную подписку на его достоверные прогнозы. Стоит ли тратить деньги? Может, удастся с помощью футуролога опустошить кассу букмекерской конторы?

Обратимся к научному тесту на определение статистической значимости прогнозов. Он дает ответ на простой вопрос: какова вероятность того, что футуролог сделал 5 правильных прогнозов наугад? На каждую игру есть 3 варианта ответа, и один из них «угадал правильно», то есть его вероятность 1:3. В сумме для 5 игр это дает чуть больше 0,4 %.

В науке стандартом статистической значимости для вероятности случая принято считать 5 %. 0,4 % далеки от данной цифры. Ученые в этом случае говорили бы о результате с высокой степенью статистической значимости. Порог отклонения в 5 % значит, что достоверный результат будет получен случайно в одном из 20 случаев. А это, в свою очередь, значит, что из 20 научных результатов в среднем один неверный, если все занятые в исследовании приложили максимум усилий и не допустили методической ошибки.

Это только начало всех трудностей, так как наш футуролог оказался на удивление не до конца честен с вами. Письма с предсказаниями он отправлял не только вам, но еще 242 адресатам. Причем каждому из них он посылал одну из 243 возможных цепочек из трех букв. Вероятность того, что каждый адресат получит комплект правильных предсказаний, составляет на самом деле 100 %. Результат не является статистически значимым.

Проблема возникает, даже если не было умысла обмануть. Возможно, футуролог и правда сделал общую рассылку с одними и теми же результатами. Но поскольку у каждого из адресатов своя любимая команда, 5 предсказаний для 18 футбольных клубов Бундеслиги могут оказаться верными. Итак, по нашим оценкам, вероятность случайного угадывания увеличивается примерно в 18 раз, пока мы не установили, о какой именно команде идет речь. В данных обстоятельствах 5 раз правильно предсказать результаты матча для любого клуба все еще маловероятно. С точки зрения науки это значит угадать случайно.

Точное значение в этом случае сложно вычислить, но оно и не играет никакой роли. Важно, что в трех случаях письма, полученные нашим любителем футбола, были одинаковыми и что 5 раз подряд результат матча был предсказан правильно. Тем не менее мы получили 3 различных показателя статистической значимости прогноза, от банального «потому что случайно верно» до «верно с высокой долей вероятности». Что влияет на результат и что во всех настоящих научных исследованиях является критичным, так это тщательность, с которой спланирован, задокументирован и проведен эксперимент или опыт.

Даже если наш ученый все проделал максимально тщательно и все расчеты проводились корректно, остаются две оговорки. Одна касается порога отклонения в 5 %. Напомню: из 20 значимых результатов в среднем один случайный. Говоря о многих тысячах исследований во всех дисциплинах, результаты которых публикуются ежемесячно, в научных журналах накапливаются всевозможные потенциально ошибочные положительные результаты. Не только восприятие склонно к галлюцинациям, но и наука в целом.

Вторая оговорка, чуть ли не важнее предыдущей. Она связана с тем, что статистическая значимость описывает лишь один аспект научного результата. Значимость соответствует чувству уверенности или неуверенности в себе у человека. Это паук ползет по тумбочке, или тень скользнула? Не имеет значения, насколько мы уверены, гораздо более существенно, насколько важен для нас ответ. У меня мелькнула бы мысль, как помочь заблудившемуся существу, а у того, кто боится пауков, мысли пошли бы совсем в другом направлении. В науке принято говорить о двух величинах: статистической значимости и статистическом эффекте, которые часто намеренно или неосознанно смешивают журналисты, пишущие статьи на научные темы.

Во многих исследованиях (например, в тех, где пытаются установить, вызывает ли некий продукт рак или излечивает его, или помогает ли в борьбе с избыточным весом) говорят о значимом эффекте, но на самом деле он может быть минимальным. Значимым, например, было бы влияние конкретного лимонада на продолжительность жизни, если бы было доказано, что тот, кто пьет его, в среднем живет на 10 секунд дольше того, кто пьет лимонад другого производителя. Если бы разница в 10 секунд не превысила пятипроцентный барьер вероятности того, что результат получен случайно. Чтобы определить статистическую значимость малых погрешностей, потребуется большое количество испытуемых и море лимонада.