Разберись в Data Science

Например, в диаграмме размаха на рис. 5.2 использовалось эмпирическое правило для того, чтобы отметить несколько точек данных в качестве возможных выбросов. Однако вам не следует отключать критическое мышление и автоматически удалять подобные точки как потенциально бесполезные только потому, что на графике они классифицированы как «выбросы». Компания Zillow никогда не удаляет полезную информацию из своих наборов данных просто потому, что средство визуализация приняло их за выбросы. Учитывайте контекст данных: в мире недвижимости нередко встречаются дома, которые стоят намного больше, чем большинство других домов. Вспомните уроки из предыдущей главы. Для удаления выбросов вы должны иметь хорошее обоснование. Есть ли оно у вас?

А как быть с отсутствующими значениями? Означает ли отсутствие значения в поле «Размер подвала» то, что в доме есть подвал, но нам неизвестна его площадь? Или это значит, что подвала нет, и значение должно быть равно 0?

Мы имеем право забрести в дебри. Специалисты по работе с данными принимают сотни подобных решений в ходе реализации проектов. Однако их суммарный эффект может оказаться весьма значительным. Предоставленные самим себе и лишенные руководства со стороны экспертов в предметной области аналитики могут отбрасывать сложные и нюансированные случаи до тех пор, пока данные не станут слишком оторванными от той реальности, которую они призваны описать. Вот почему всем, включая менеджеров, важно четко понимать, чем занимаются команды дата-сайентистов.

Обнаружили ли вы какие-либо взаимосвязи?

К счастью, первые сводные статистические показатели и результаты первой визуализации данных о домах кажутся обнадеживающими, и вы думаете, что эти данные действительно могут быть использованы при построении модели для прогнозирования цены продажи. Поэтому вы переходите к следующему вопросу: «Обнаружили ли вы какие-либо взаимосвязи?»

Визуализация данных показала, что более высокое общее качество дома и его большая площадь связаны с более высокими ценами, и это неудивительно. Это та обратная связь, которую вы хотите получить от данных. Эти взаимосвязи имеют смысл, и выбранные вами переменные будут использоваться при построении модели для прогнозирования стоимости дома. Какие еще переменные могут быть связаны с его ценой продажи?

На данном этапе для обнаружения в данных интересных закономерностей и взаимосвязей имеет смысл использовать сводную статистику, поскольку построение всех возможных диаграмм рассеяния может оказаться нецелесообразным. Вместо этого взаимосвязи, обнаруженные на таких диаграммах, могут быть сведены к статистической корреляции, которая допускает (но не доказывает) существование взаимосвязи между двумя числовыми переменными.

Корреляция

Корреляция – это мера связанности двух переменных. Наиболее распространенный коэффициент корреляции в сфере бизнеса – коэффициент корреляции Пирсона. Он принимает значения в диапазоне от –1 до 1 и измеряет степень линейной зависимости (простая прямая линия) между парами чисел, отображаемыми на диаграмме рассеяния. Корреляция может быть положительной, когда увеличение одной переменной сопровождается увеличением другой: большие дома продаются за большие деньги. Корреляция также может быть отрицательной: более тяжелые автомобили менее экономичны в плане расхода топлива. Коэффициент корреляции между размером дома и ценой продажи составляет 0,62 (рис. 5.6). Чем ближе точки к линии тренда, тем выше степень корреляции[41].

Рис. 5.6. Коэффициент корреляции между площадью дома и ценой продажи составляет 0,62 (определяется степенью близости точек данных к линии тренда)

В данном случае корреляция может помочь двумя способами. Во-первых, нахождение переменных, коррелирующих с ценой продажи, упрощает ее предсказание. Во-вторых, корреляция позволяет уменьшить избыточность данных, поскольку две сильно коррелированные переменные содержат примерно одинаковую информацию. Представьте два столбца с данными, в одном из которых площадь дома указана в квадратных футах, а во втором – в квадратных метрах. Эти значения идеально коррелируют между собой, и для проведения анализа достаточно только одного из них.

Хотя большинство из нас имеет базовое представление о корреляции и часто использует ее, данная метрика может ввести в заблуждение. Давайте разберемся, почему.

Осторожно: неверная интерпретация корреляции

Люди часто забывают о том, что корреляция – это мера линейной зависимости, но не все зависимости линейны.

Предположим, что вы анализируете данные по двум районам, в каждом из которых находится по 11 домов. Статистический анализ показывает, что количество деревьев на участке сильно коррелирует с ценой домов в этих районах. Коэффициент корреляции равен 0,8: дома с большим количеством деревьев на участке, как правило, продаются дороже.