Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных

При правительстве Великобритании существует исследовательская команда по поведенческому анализу. СМИ окрестили ее «отдел подталкиваний». Дело в том, что эта команда ищет небольшие стратегически реализуемые изменения в государственной политике (подталкивания), которые могут оказать большое влияние на поведение граждан. Вот что сказано в недавнем докладе команды: «В ряде документов и статей в прессе отмечается, что официальная статистика показывает значительное снижение потребления пищи с точки зрения калорий в Великобритании за последние 40 лет. В то же время мы наблюдаем увеличение средней массы населения за этот период. Каким образом наш вес увеличился, если мы стали меньше есть?.. Один из ответов заключается в том, что уровень физической активности населения снизился, соответственно снизился и расход калорий»[165].

Это объяснение кажется возможным, хотя и довольно неожиданно. Его смысл в том, что, хотя британцы стали меньше есть, они сократили физическую нагрузку, а это привело к увеличению веса. Тем не менее в отчете сделан вывод, что такое объяснение неправдоподобно, поскольку «заявленный уровень потребления пищи с точки зрения калорий слишком низок, чтобы поддерживать наш текущий вес, даже если уровень физической активности минимален». В докладе также говорится, что «по оценкам, количество потребляемых калорий находится ниже рекомендуемой суточной нормы, составляющей 2500 килокалорий для мужчин и 2000 килокалорий для женщин (имеющих нормальный вес)». Команда предположила, что проблема заключается в темных данных.

Показатели закупки продуктов питания рассчитываются на основе данных Опроса о стоимости жизни и питания (LCFS). Потребление калорий оценивается по данным Национального опроса о диетах, питании и здоровье (NDN-SHS), проводимого в Англии. В отчете «отдела подталкивания» говорится, что эти опросы недооценивают показатели закупки продуктов питания и потребления калорий. Что касается LCFS, то доклад ссылается на «исследования, [которые] показали, что доля экономической активности, не охваченная LCFS, увеличилась с 2 % в 1992 г. почти до 16 % в 2008 г.». Когда команда скорректировала результаты LCFS, чтобы учесть этот фактор, она обнаружила, что потребление продуктов питания на самом деле увеличивалось с 1990-х гг. Показатели NDN-SHS были скорректированы с использованием так называемого метода двойной маркировки воды, который является «золотым стандартом измерения расхода энергии». Эта корректировка показала, что «в целом мы потребляем на 30–50 % больше калорий, чем указано в официальной статистике».

Все вышесказанное выглядит как классический пример присутствия темных данных. Потребление калорий не снизилось – просто все выглядело так из-за недостающих или ложных данных. В докладе было предложено пять причин такого занижения показателей, включающих различные DD-типы

:

● рост уровня ожирения (поскольку люди с ожирением с большей вероятностью занижают данные о своем потреблении – DD-тип 11: искажения обратной связи и уловки);

● рост желания похудеть (так как это связано с занижением значений при опросе – DD-тип 11: искажения обратной связи и уловки);

● увеличение объема перекусов и приема пищи вне дома (DD-тип 2: данные, о которых мы не знаем, что они отсутствуют);

● снижение частоты ответа при опросах (DD-тип 1: данные, о которых мы знаем, что они отсутствуют, DD-4: самоотбор);

● рост расхождения между справочными данными, используемыми для расчета калорий, и истинными размерами порций и реальной калорийностью пищи (ошибка измерения скрывает истинные значения – DD-тип 10: ошибки измерения и неопределенность

).

В отчете «отдела подталкивания» указывается несколько очевидных причин появления темных данных, но во многих ситуациях множественность причин не так очевидна. Кроме того, выискивать причины появления темных данных, чтобы предпринять соответствующие шаги для преодоления рисков, часто бывает непросто.

Первым шагом должно быть осознание того, что темные данные могут присутствовать всегда. Базовое предположение должно заключаться в том, что имеющиеся данные являются неполными или неточными. Самое важное послание этой книги: относитесь к данным с подозрением – по крайней мере пока не будет доказано, что они адекватны и точны.

Также необходимо уметь распознавать ситуации, особенно чреватые проблемами с темными данными, видеть определенные признаки того, что темные данные искажают собранный материал, и реагировать на более общие ситуации, в которых кроется опасность. В книге я попытался облегчить вам эту задачу двумя способами.