Ложь, наглая ложь и статистика. Приемы, которые помогут видеть правду за цифрами

Удивительно, как редко это происходит. После многолетних попыток вывести людей из статистических лабиринтов я понял, что большинство проблем, с которыми я столкнулся, объяснялись тем, что люди с самого начала повернули не в ту сторону. Они углублялись в дебри статистической математики, спрашивая об ошибках выборки, пределе погрешности, спорили, растет ли число или падает, принимали на веру, сомневались, разбирали на части и анализировали – и ни на минуту не задавались самым очевидным вопросом: а что именно мы измеряем и подсчитываем? Какое определение для этого используем?

Несмотря на то что в эту ловушку попадают очень многие, названия ей так и не придумали. Я предлагаю назвать ее «преждевременным подсчетом».

Мы с женой часто об этом говорим. У нас на холодильнике стоит радио, и за завтраком мы то и дело слышим какие-то статистические утверждения, от громких политических заявлений до неожиданных результатов исследований. К примеру: «Согласно новейшему исследованию, дети, которые играют в компьютерные игры, где много насилия, с большей вероятностью будут проявлять насилие в реальной жизни». Хоть моей жене и известно, что я не все на свете знаю, она все же не может до конца избавиться от представления, что у меня в голове гигантский справочник со всей когда-либо собранной человечеством статистикой. Она спрашивает меня: «Это правда так?» Изредка случается, что я недавно занимался этой темой и знаю ответ, но гораздо чаще бывает, что я могу ответить только: «Зависит от того, что под этим подразумевается…»

Не подумайте, что я исповедую какой-то радикальный философский скептицизм или просто хочу позлить жену. Я просто отмечаю, что не вполне понимаю, что именно стоит за этим утверждением, так что не могу (пока что) знать, правда это или нет. К примеру: что значит «игры, где много насилия»? Как насчет Пакмана? Пакман проявляет неслыханную жестокость, а именно живьем глотает других существ. Или возьмем «Space Invaders». Там можно только стрелять или стараться, чтобы тебя не подстрелили. Но, возможно, исследователи имели в виду что-то другое. Пока я не узнаю, что же они имели в виду, я мало что могу сказать.

Или, например, что значит «играют»? Может быть, детям[14] раздали анкеты, чтобы узнать, кто из них часами играет в игры, где много насилия. А может быть, они набрали волонтеров и дали им 20 минут поиграть в компьютерную игру в лаборатории, а потом каким-то способом измерили, стали ли они чаще «проявлять насилие в реальности» (опять же, что под этим имеется в виду?).

– Многие из этих исследований не измеряют насилие, – говорит Ребекка Голдин, специалистка по математике и директор STATS, проекта по статистической грамотности⁶

. – Они измеряют что-нибудь другое, к примеру, агрессивное поведение». – А агрессивное поведение, в свою очередь, сложно измерить, так как сложно определить, что это такое. Авторы одного известного исследования компьютерных игр для того, чтобы измерить агрессивное поведение, предлагали испытуемому добавить в чужой напиток острого соуса (честное слово, я не выдумываю). Эта «парадигма острого соуса» была названа «непосредственной и недвусмысленной» оценкой агрессии. Социальная психология – не моя специализация, так что, может быть, в этом и есть какой-то смысл. Может быть. Но очевидно, что, как и в случае с младенцами, овцами и медсестрами, такие вроде бы очевидные слова, как «насилие» и «игра», предоставляют широкий простор для интерпретации.

Так же скрупулезно, как мы анализируем утверждения о фактах, нужно анализировать и политические программы. Все мы знаем, что политики намеренно говорят обтекаемо. Часто они восхваляют «справедливость», «прогресс» и «возможности», или – это меня совсем уж выводит из себя – говорят, что «предлагают эту программу, так как это единственное правильное решение». Но даже программы, которые, казалось бы, вполне конкретны, могут оказаться пустым звуком, если мы не поймем, что стоит за этим словами. Хотите выделять школам больше денег? Замечательно! Но что именно это значит: выделять больше денег на каждого ученика, или увеличивать сумму с учетом инфляции, или еще что-то?

К примеру: в 2017 в Соединенном Королевстве группа «Уходим так уходим», лоббирующая Брексит, опубликовала программный документ, призывающий к «пятилетней заморозке неквалифицированной иммиграции»⁸. Хорошая ли это мысль? Сложно ответить, пока мы не поймем, что именно имеется в виду. Вы, наверное, уже догадались, что следует спросить: «Что вы подразумеваете под «неквалифицированной»?