Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных

В то же время люди зачастую имеют возможность пройти веб-опрос несколько раз. Или еще хуже: недавно я встретил человека, который сказал, что всякий раз, когда ему предлагают пройти опрос по мобильному телефону, он передает его для ответов своему пятилетнему сыну. К тому же фундаментальная проблема заключается в том, что не у всех есть доступ к интернету – сравните это с ролью телефонов на выборах Лэндон/Рузвельт. В отчете 2013 г. из Нидерландов, опубликованном в International Journal of Internet Science, сообщалось, что «пожилые люди, незападные иммигранты и домохозяйства, состоящие из одного человека, часто не имеют доступа к интернету»[26]

. Впрочем, эта проблема, вероятно, будет решена с течением времени по мере развития технологий.

Почему же люди все меньше склонны отвечать на опросы? Туранжо и Пльюис изучили эту проблему и выяснили, что сами причины отсутствия отклика не сильно изменились с течением времени[27]. Прежде всего потенциальный респондент просто недостаточно заинтересован в участии, слишком занят или не хочет тратить на опрос много времени. Среди других причин можно выделить проблемы конфиденциальности, непонимание вопросов, а также негативные эмоциональные реакции – раздражение, «хлопанье дверью», недружелюбное или даже угрожающее поведение. Рискованное это дело, быть интервьюером! На основе исследования было высказано предположение, что люди просто пресыщены опросами – их слишком много, а бесконечными вопросами можно вывести из себя кого угодно. Ситуация усугубляется рекламными кампаниями, маскирующимися под опросы. Но главной причиной всего этого является самоотбор, когда респонденты сами решают, принимать им участие или нет.

Однако отсутствие отклика необязательно связано с респондентом. Бывает, что сам интервьюер не прикладывает достаточных усилий, чтобы выйти на связь с людьми. Действительно, для нечестных интервьюеров есть даже отдельный тип темных данных (DD-тип 14: фальшивые и синтетические данные

). Именно такой случай показывает известная карикатура, где вместо того, чтобы задавать вопросы людям, переписчик сидит на бордюре и вписывает цифры «от фонаря»[28]. Однако, если вы переписчик, имейте в виду, что сложные статистические методы могут обнаружить этот обман, как и другие виды мошенничества с данными. Стоит также упомянуть языковые барьеры и простую потерю данных, которые также могут привести к отсутствию значений.

Опросы, затрагивающие чувствительные темы, – как правило, связанные с сексуальной активностью, финансовыми или медицинскими аспектами – особенно страдают от отсутствия и неполноты данных. Для таких случаев были разработаны довольно хитрые методы сбора данных, которые позволяют людям отвечать, сохраняя анонимность, или дают возможность получать агрегированные показатели, не раскрывая индивидуальных значений. К этим методам мы еще вернемся в главе 9.

Экспериментальные данные

Итак, мы рассмотрели два способа сбора данных, описанных в начале этой главы: сбор данных обо всех интересующих нас объектах и выборочный сбор данных. Мы также узнали, какие типы темных данных могут возникать в каждом из этих случаев.

Теперь перейдем к третьему способу сбора данных – экспериментальному, когда условия, методы лечения или иные воздействия на объекты и людей изменяются тщательно контролируемым образом.

Предположим, мы хотим узнать, какой из двух видов лечения является более эффективным: А или Б. Казалось бы, проще всего последовательно провести лечение обоими методами и посмотреть, какой из них работает лучше. Например, исследуя эффективность лекарств для облегчения симптомов сенной лихорадки, мы могли бы первый год лечить пациента по методу А, а второй – по методу Б (полагаясь на то, что количество пыльцы в оба года будет одинаковым). Но в большинстве случаев невозможно применить к одному пациенту оба вида лечения. Например, в исследовании эффективности методов, увеличивающих продолжительность жизни, мы вряд ли сможем попробовать больше одного метода – эксперимент в данном случае заканчивается со смертью пациента.

Единственная альтернатива этому – лечение одного пациента по методу А, а другого по методу Б. Проблема, однако, в том, что не все пациенты одинаково реагируют на одно и то же лечение: то, что лечение помогло одному пациенту, не означает, что оно поможет и всем остальным. Более того, даже отдельно взятый пациент может по-разному реагировать на одно и то же лечение в разные периоды времени.