Smart Management

Последующее исследование включало еще двадцать четыре компании в сфере розничной торговли. 8 В него также вошли два алгоритма машинного обучения, случайный лес и регуляризованная логистическая регрессия, как более мощные конкурирующие модели. Как показано на рис. 12.1 , две модели машинного обучения предсказывали точнее, чем две стохастические модели; однако их точность предсказания не превзошла точность предсказания эвристики хиатуса. Покупательская деятельность клиентов не происходит в стабильном мире: слишком много факторов могут повлиять на ее результаты. Здесь меньшее может стать большим.

Рисунок 12.1

Эвристика хиатуса может предсказывать покупательскую активность клиентов так же хорошо или лучше, чем алгоритмы машинного обучения (случайный лес и регуляризованная логистическая регрессия) и стохастические модели (Парето/НБД и БГ/НБД). Результаты основаны на данных о потребителях двадцати четырех компаний розничной торговли. Столбики ошибок указывают на стандартные ошибки. NBD = отрицательное биномиальное распределение; BG = бета-геометрическое. По материалам Artinger et al. (2018).

Вдохновившись этими результатами, группа исследователей из Берлина опросила менеджеров, чтобы выяснить, как они прогнозируют будущий доход от клиентов. 9 Эти менеджеры работали в технологической компании, которая продавала in-app продукты для мобильных игр (например, специальное снаряжение и персонажей). Им часто требовалось спрогнозировать годовую выручку клиента после того, как он поиграет в игру всего семь дней, чтобы помочь компании выявить высокоценных клиентов на ранней стадии. Часто упоминаемой стратегией была эвристика умножения: Умножаем доход, полученный клиентом за первые семь дней, на константу 6. В общем виде эвристика выглядит следующим образом:

Эвристика множителя: Прогнозирование того, что будущий годовой доход от продаж клиента, продукта или магазина равен доходу, полученному в период наблюдения, умноженному на константу X.

Затем исследователи проверили точность прогнозирования эвристики в пяти мобильных играх. В каждой игре количество покупателей, чьи записи о покупках использовались для теста, было достаточно большим - от 42 183 до 215 653. Были рассмотрены две версии эвристики: оригинальная multiply-by-6, не имеющая свободного параметра, и версия, в которой множитель рассматривается как свободный параметр, настраиваемый для каждой игры. Регулировка множителя не принесла дополнительных преимуществ, поскольку обе версии имели одинаковый уровень точности прогнозирования. Что очень важно, обе версии были настолько же точны, как и три алгоритма машинного обучения: регрессия LASSO (оператор наименьшего абсолютного сокращения и выбора), гребневая регрессия и случайный лес (см. верхнюю часть рис. 12.2 ).

Рисунок 12.2

Эвристика множителя предсказывает доход от покупок в приложениях так же хорошо, как и сложные алгоритмы машинного обучения, используя множитель 6, предоставленный менеджерами (верхняя панель). Для различных задач прогнозирования выручки тот же множитель работает хуже, но другой множитель может быть оценен по данным (multiply-by-X), что приводит к лучшей производительности, чем у алгоритмов машинного обучения, которые также оценивают свои параметры (нижняя панель). RMSE - среднеквадратичная ошибка. Столбики ошибок показывают стандартные ошибки. Эти столбики намного больше, когда производительность усредняется по пятнадцати различным задачам (нижняя панель), чем когда она усредняется по пяти экземплярам одной и той же задачи покупки в приложении (верхняя панель). По материалам Artinger, Kozodi и Runge (2020).

Чтобы проверить, насколько общими являются полученные результаты, исследователи применили эвристику мультипликатора для прогнозирования доходов, не связанных с покупками в приложениях в мобильных играх. К ним относились годовые доходы, получаемые отдельными покупателями, совершающими покупки в магазине, определенными продуктами, производимыми компанией (например, газированными напитками компании, производящей безалкогольные напитки), и отдельными магазинами розничной сети (например, Walmart). В общей сложности они собрали пятнадцать наборов данных по таким задачам, и количество точек данных в каждом из них варьировалось от 13 до 33 520. Версия эвристики "умножение на 6", разработанная менеджерами для конкретной задачи - прогнозирования доходов от покупок в мобильных играх - больше не работала в новых задачах, поскольку изменились и цель прогнозирования, и область. Однако, когда единственный параметр эвристики - множитель - оценивался по данным для каждой новой задачи, скорректированная версия эвристики работала очень хорошо: Multiply-by-X имел меньшую ошибку предсказания, чем три алгоритма машинного обучения (см. нижнюю часть рис. 12.2). Это показывает, как эвристики можно адаптировать к новым задачам.

Психологический ИИ