Разберись в Data Science

Существуют два типа вариаций. Один из них связан со способом сбора данных или проведения измерений и называется вариацией измерений. Второй тип связан со случайностью, лежащей в основе самого процесса, и называется случайной вариацией. На первый взгляд разница между ними может показаться незначительной, однако именно здесь проявляется важность статистического мышления. Принимаются ли решения в ответ на случайные вариации, которые невозможно контролировать? Или имеющаяся вариация отражает какой-то основополагающий процесс, который можно контролировать при условии его правильного выявления? Все мы надеемся на последнее.

Проще говоря, вариации порождают неопределенность.

Давайте рассмотрим один гипотетический сценарий и один исторический пример таких вариаций.

Сценарий: Клиентское восприятие (продолжение)[17]

Вы – менеджер розничного магазина, и ваше руководство внимательно отслеживает данные об удовлетворенности ваших клиентов, которые собираются, когда те звонят по номеру 1–800… указанному в нижней части квитанции. В ходе опроса клиентам предлагается оценить свою удовлетворенность по шкале от 1 до 10, где 10 означает «полностью удовлетворен». (Опрос включает ряд дополнительных вопросов, но первый – самый важный.)

При этом руководство устраивают только оценки 9 и 10. Оценка 8 для него равнозначна 0. Данные собираются еженедельно и отправляются лично вам и в корпоративный офис в файле PDF с красочными графиками, в котором слишком много страниц для представленной в нем информации. Тем не менее эти значения влияют на размер вашей премии и на размер премии вашего начальника, поэтому каждую неделю вы нервно и одержимо подсчитываете среднюю оценку удовлетворенности клиентов, надеясь, что вам удастся достичь показателя в 85 %.

Здесь нам следует остановиться и поговорить об одном из источников вариаций – о способе измерения результатов опроса. Общеизвестно, что оценить что-либо по шкале от 1 до 10 весьма проблематично. Оценка 10, выставленная одним человеком («У них не было того, что я искал, но сотрудник помог мне найти замену!»), равнозначна оценке 5, выставленной другим («У них не было того, что я искал! Сотруднику пришлось помочь мне найти замену»). Мы проигнорируем другие потенциальные источники вариаций, такие как грубость сотрудника, переполненный магазин, экономический спад, заставляющий всех нервничать, то, что покупателю пришлось отправиться за покупками вместе с детьми и так далее.

Мы вовсе не предлагаем отказываться от таких опросов. Мы лишь хотим показать, что сам способ измерения данных является источником вариаций, часто упускаемых из виду. Из-за игнорирования вариаций может показаться, что отклонения от наших ожиданий отражают некачественное обслуживание, а не те различия, которые присущи самому вопросу. И все же компании продолжают гнаться за высокими целевыми показателями (в данном случае это оценки 9 и 10), не понимая, что главная причина вариации – выбранный способ измерения.

Вот как это может развернуться. Предположим, 50 человек оставляют отзывы каждый день на протяжении 52 недель. Это значит 350 опросов в неделю или 18 200 в год. Может показаться, что такое количество участников позволяет получить хорошее представление о клиентском восприятии. В конце каждой недели происходит подсчет результатов: руководство складывает все оценки 9 и 10, делит полученную сумму на общее количество опросов за неделю (350) и наносит результаты на график, показанный на рис. 3.1. Если показатель превышает отметку 85 %, вас одобрительно похлопывают по спине, а если нет, то вы покрываетесь холодным потом.

Каждый понедельник вы получаете отчет и звоните в компанию, чтобы обсудить результаты. Представьте, какой стресс вызывают эти разговоры на 5–9 неделях, когда результаты оказались чуть ниже порогового значения. На 10-й неделе вам наконец удается превысить пороговое значение (несомненно, благодаря мотивации со стороны вашего начальника), но наступает 11-я неделя, и вы достигаете нового минимума. И так происходит снова и снова.

Однако то, что вы видите на рис. 3.1 – чистая случайность. Мы сгенерировали 18 200 случайных чисел, которые были равны 8, 9 или 10, чтобы симулировать результаты опроса об удовлетворенности клиентов, и перетасовали их, как колоду карт[18]

. Каждую «неделю» мы получали 350 оценок и рассчитывали на их основе значение метрики. Средний процент оценок 9 и 10 в наборе данных составил 85,3 % (очень близко к истинному значению в 85 %), что соответствовало корпоративному стандарту, но каждую неделю отклонялось от этого порогового значения просто из-за случайных вариаций.

Рис. 3.1. Результаты еженедельного опроса клиентов: процент положительных отзывов. Горизонтальная линия на уровне 85 % соответствует целевому показателю

Из-за того, что никто не мыслил статистически, вы, ваш начальник и руководство компании старались добиться роста произвольного показателя, значение которого в принципе не зависело от чьих-либо действий.