Все лгут. Поисковики, Big Data и Интернет знают о вас всё

А/В-тестирование чаще всего является инструментом игровой индустрии. Как говорит Алтер, проводится А/Б-тестирование различных версий игры World of Warcraft. В одной миссии можно убить кого-то. В другой – спасти кого-то. Дизайнеры могут дать игрокам различные образцы различных миссий, а затем посмотреть, какие из них будут пользоваться наибольшей популярностью. Они могли бы увидеть, например, что миссия по спасению кого-то привлекает на 30 % больше пользователей. Если они испытывают много, очень много миссий, то начинают находить все больше и больше победителей A/B-тестирования. Эти 30 % побед складываются до тех пор, пока не получится игра, в которую играют многие взрослые геймеры.

Если вы немного встревожены этим, знайте – я тоже. И в конце этой книги мы немного поговорим об этических последствиях, а также о других аспектах больших данных. Хорошо это или плохо, но эксперименты – главный инструмент в арсенале ученых. В этом наборе инструментов имеется еще одна форма исследований. Она была использована для того, чтобы задавать различные вопросы – в том числе о том, насколько эффективно работает телевизионная реклама.

Жестокие, но проливающие свет натурные эксперименты

22 января 2012 года «Нью-Инглэнд Пэтриотс» играли полуфинал чемпионата НФЛ[34] с «Балтимор Рэйвенс».

Оставалась минута игры. «Рэйвенс» проигрывали, но мяч у них. Следующие 60 секунд определят, какая команда сыграет в Суперкубке. Следующие 60 секунд смогут вознести футболистов на вершину славы. И последняя минута этой игры сделает то, что для экономиста гораздо важнее: эти последние 60 секунд помогут наконец понять раз и навсегда – работает ли реклама?

Информация о том, что реклама повышает продажи, очевидно, имеет решающее значение для нашей экономики. Но это безумно трудно доказать. По сути, это хрестоматийный пример того, как сложно различать корреляцию и причинно-следственные связи.

Нет никаких сомнений в том, что продукты, рекламируемые больше всего, и продаются лучше всего. Кинокомпания «20th Century Fox» потратила 150 миллионов долларов на промоушн фильма «Аватар», ставший в итоге самым кассовым фильмом всех времен. Но сколько из 2,7 миллиарда долларов, вырученных от продажи билетов, было получено благодаря мощному маркетингу? Отчасти причина этих безумных затрат на раскрутку проста: «20th Century Fox» точно знала, что продукт будет востребован.

Фирмы считают, что знают, насколько эффективна их реклама. Экономисты в этом сомневаются. Профессор экономики Чикагского университета Стивен Левитт, сотрудничая с компанией по разработке и продаже электроники, был далеко не в восторге, когда фирма попыталась убедить его, что знает, насколько хорошо работает ее реклама. Левитта интересовало, почему руководство компании было настолько уверенно.

Ему пояснили, что каждый год накануне Дня отца расходы на телевизионную рекламу увеличиваются. И конечно, каждый год накануне Дня отца случаются самые высокие продажи. Но, возможно, это происходит просто потому, что множество детей покупают своим папам в подарок именно электронику, и особенно часто – именно в День отца, независимо от рекламы.

«Они вывернули наизнанку причинно-следственную связь», – говорил Левитт на лекции{149}. Конечно, реклама могла работать. Мы этого пока не знаем. «Это очень серьезная проблема», – добавляет он.

Поскольку очень важно решить эту проблему, фирмы хотят провести тщательные исследования. Левитт попытался убедить компанию провести контролируемые эксперименты, чтобы точно узнать, насколько эффективными были рекламные ролики. Поскольку А/B-тестирование на телевидении невозможно, нужно было понять, что происходит в некоторых регионах без использования рекламы.

Но представители фирмы ответили: «Ты с ума сошел? Мы не можем давать рекламу на двадцати рынках. Генеральный директор нас убьет». На этом сотрудничество Левитта с компанией закончилось.

Что возвращает нас к игре «Пэтриотс» с «Рэйвенс». Как результат футбольного матча поможет нам определить воздействие рекламы? Ну, он не в состоянии показать влияние той или иной конкретной рекламной кампании. Но он может продемонстрировать средний эффект рекламы многих крупных компаний.

Оказывается, в подобных играх проводится скрытый эксперимент с рекламой. Вот как это происходит. Ко времени проведения полуфинала компании уже купили и произвели рекламу для Супербоула. При этом когда фирмы решают, какую именно рекламу запустить, они еще не знают, какие команды сыграют в финале.

Но результаты полуфинала очень сильно повлияют на состав аудитории Супербоула. Каждая из двух команд привлечет огромное количество зрителей. Если победят «Пэтриотс», базирующиеся недалеко от Бостона, смотреть Супербоул будет гораздо больше людей из Массачусетса, чем из Мэриленда. И наоборот.