Менеджмент цифрового продукта. От идеи до идеала

➠ Сравнимость. Метрики должны иметь возможность сопоставления с аналогичными метриками конкурентов или отраслевых стандартов. Это поможет определить сильные и слабые стороны проекта, выявить лучшие практики и стандарты, а также установить реалистичные и амбициозные цели. Например, для проекта по созданию и продвижению блога сравнимыми метриками могут быть количество подписчиков, просмотров, комментариев, лайков и т. д. Для поиска и выбора метрик для гипотез жизнеспособности можно использовать метод отраслевого бенчмаркинга, о котором поговорим в п. 4.3.3.4.

➠ Быстрота. Метрики должны быстро становиться статистически достоверными, то есть набирать достаточный объем данных после запуска пилотного проекта, чтобы можно было сделать вывод о влиянии изменений на результаты. Например, для проекта по созданию и продаже онлайн-курса быстрой метрикой может быть количество заявок, которое можно измерить уже в первые дни запуска, а медленной метрикой – количество сертификатов, которое можно измерить только после окончания курса.

➠ Дешевизна. Метрики должны быть недорогими в измерении и анализе, то есть не требовать больших затрат на сбор, обработку и интерпретацию данных. Например, для проекта по созданию и продвижению блога дешевой метрикой может быть количество подписчиков, которое легко отслеживать через социальные сети, а дорогой метрикой – количество лайков, которое может потребовать дополнительных инструментов и ресурсов.

Однажды мы с коллегами внедряли ИИ-ассистента для операторов чата поддержки контакт-центр а банка. Ассистент выполнял роль суфлера, анализировал диалог с клиентом и предлагал оператору на выбор несколько ответов. Оператор выбирал ответ, вместо того чтобы набирать его вручную. Предполагалось, что основной финансовый эффект будет достигаться за счет экономии времени оператора: он сможет обработать большее количество заявок за одно и то же время. Это был масштабный проект, подразумевающий внедрение в нескольких точках касания с клиентами: розничное мобильное приложение, сайт, инвестиционное консультирование, страхование и др.

В качестве критерия жизнеспособности была выбрана метрика «доля символов, генерируемая ИИ в ответе оператора». Плотный проект был запущен для ограниченного количества пользователей розничного мобильного приложения и одного оператора контакт-центра со стороны банка. Согласно модели, весь проект окупится, если значение выбранной метрики будет не ниже 34 %. Сбор статистически достоверных значений занял несколько месяцев.

После подтверждения гипотезы жизнеспособности банк принял решение об инвестировании в команду, целью которой стала доработка решения до полноценного рабочего продукта и внедрение для других точек касания. Надо отметить, что значение ключевой метрики после полноценного внедрения и дообучения модели доходило до 60 %.

4.3.3.3. Выбор значений для метрик гипотез жизнеспособности

Как уже говорилось ранее, гипотеза жизнеспособности состоит из трех составляющих: метрики, ее значения и знака отношения (>, <, = и др.).

Ранее мы достаточно много внимания уделили выбору метрики; теперь рассмотрим, как подобрать значение метрики для гипотезы жизнеспособности «>». При этом необходимо учитывать следующие факторы: