Все лгут. Поисковики, Big Data и Интернет знают о вас всё

Как преодолеть «проклятие размерности»? Вы должны со смирением относиться к своей работе и не потерять голову из-за ее результатов. Вы должны проверять их с помощью дополнительных тестов. Например, прежде чем ставить все свои сбережения на монету 391, стоит посмотреть, что будет происходить в течение ближайших нескольких лет. Социологи называют это «вневыборочным» тестом. И чем больше переменных вы включаете, тем скромнее надо быть. Чем больше переменных вы включаете, тем жестче должен быть «вневыборочный» тест. Важно также тщательно следить за проведением каждого исследования – тогда вы сможете точно сказать, с какой вероятностью вы стали жертвой «проклятия размерностей» и насколько скептически следует отнестись к результатам. Что возвращает нас к разговору с Ларри Саммерсом. Вот как мы пытались обогнать рынок.

Первая идея Саммерса заключалась в использовании поисковых запросов для прогноза продаж ключевых продуктов (например, iPhone), который мог бы пролить свет на дальнейшую динамику акций компании (например, Apple). Действительно, существует корреляция между поисковыми запросами относительно «айфонов» и величиной их продаж. Когда люди часто гуглят «айфон», вы можете биться об заклад, что этих телефонов продается много. Однако эта информация уже была заложена в цену акций Apple. Очевидно, когда у Google стали много спрашивать об «айфонах», хедж-фонды тоже выяснили, что они будут хорошо продаваться – независимо от того, были ли для этого использованы данные поисковых запросов или какой-то иной источник.

Следующая идея Саммерса касалась прогнозирования инвестиций в развивающиеся страны. Если большое число инвесторов в ближайшем будущем начнут вкладывать деньги в, скажем, Бразилию или Мексику, то акции компаний в этих странах, несомненно, вырастут. Возможно, мы могли бы спрогнозировать рост инвестиций с помощью ключевых поисковых запросов в Google – например, «инвестировать в Мексику» или «инвестиционные возможности в Бразилии». Это оказалось тупиком. Проблема? Такие поисковые запросы были слишком редки. Вместо выявления значимых закономерностей эти данные постоянно перескакивали с одного на другое.

Мы пытались исследовать акции отдельных компаний. Возможно, если бы люди искали «GOOG», это означало бы, что они собираются купить акции Google. Подобные запросы, предположительно, дают понять, что эти акции будут прилично торговаться. Но они не прогнозируют, будет ли фондовый рынок расти или падать. Одним из основных ограничений является то, что эти поиски не скажут нам, заинтересован ли кто-то в покупке или в продаже акций.

Однажды я взахлеб делился с Саммерсом своей новой идеей: последние запросы «купить золото», по-видимому, коррелируют с будущим ростом цен на золото. Саммерс ответил, что я должен проверить это и убедиться в точности результата. Корреляция перестала работать – возможно, потому, что некоторые хедж-фонды также обнаружили данное соотношение.

В итоге за несколько месяцев мы не нашли ничего полезного. Несомненно, если бы мы искали корреляцию с рыночными показателями в каждом из миллиардов терминов поисковых запросов в Google, мы бы нашли тот, который сработает – пусть даже незначительно. Но это, скорее всего, стало бы нашей монетой 391.

Чрезмерный акцент на том, что можно измерить

В марте 2012 года Зои Чанс, профессор маркетинга{176}

из Йельского университета, получила по почте маленький белый шагомер. Она решила изучить, как это устройство, измеряющее количество шагов, которое вы делаете в течение дня, и начисляющее за это баллы, может вдохновить вас больше заниматься спортом.

То, что произошло дальше, стало настоящим кошмаром больших данных. Чанс оказалась настолько одержима этим устройством и зависима от увеличения числа шагов, что стала ходить с ним везде – от кухни до гостиной, до столовой, до подвала, до своего кабинета. Она шагала рано утром, поздно ночью, почти целый день – 20 тысяч шагов за 24 часа. Она смотрела на шагомер сотни раз в день, и от ее человеческого общения остались только разговоры онлайн с другими пользователями шагомера – они обсуждали стратегии для улучшения результатов. Зои вспоминала, как положила шагомер на свою трехлетнюю дочь, когда та зашагала – потому что была одержима повышением результата.

Чанс стала настолько одержимой, что забыла, с чего все началось. Она забыла об основной цели достижения самого высокого результата – обретении хорошей физической формы, поэтому не позволяла дочери пройти даже несколько шагов без шагомера. При этом она не выполнила ни одного научного исследования. В конце концов она избавилась от этого устройства – после того, как однажды поздно вечером упала обессиленная при попытке сделать еще несколько шагов. Хотя Зои и является специалистом по обработке и управлению данными, этот опыт очень сильно повлиял на нее. «Это заставило меня начать скептически относиться к возможности получить дополнительную информацию и понять, что лишние данные – это не всегда хорошо», – сказала Чанс.