Менеджмент цифрового продукта. От идеи до идеала

➠ Выводить индикаторы подтверждения жизнеспособности гипотез. Гипотезы жизнеспособности – это утверждения о том, какого результата должен достичь продукт по определенным метрикам, чтобы считаться успешным. Например, «MAU > 1000» означает, что продукт должен иметь более тысячи активных пользователей в месяц. Для каждой гипотезы можно вывести индикатор, который показывает, насколько близко продукт к ее достижению, а также статус гипотезы: подтверждена, не подтверждена или в процессе проверки. Это помогает отслеживать прогресс продукта и определять, какие инициативы работают, а какие нет.

➠ Сигнализировать о ключевых изменениях. Ключевые изменения – это события, которые означают, что продукт достиг или не достиг своих целей, а также что возникли какие-то риски или проблемы. Например: отдельные гипотезы жизнеспособности подтверждены, все гипотезы подтверждены, сработал риск, объем риска превосходит предел и проект нужно остановить. О таких событиях нужно сигнализировать всем заинтересованным сторонам, используя разные каналы коммуникации, такие как мессенджеры, почта, SMS и т. д. Это позволяет своевременно реагировать на изменения и корректировать развитие инициативы.

4.3.8.2. Подтверждение гипотез жизнеспособности

Для подтверждения гипотез жизнеспособности нужно собрать достаточно данных, чтобы убедиться в их репрезентативности. Репрезентативность данных означает, что они отражают характеристики генеральной совокупности, а не случайные отклонения. Для расчета объема выборки для эксперимента можно использовать формулу:

где n – объем выборки, Z – уровень доверия (например, 1,96 для 95 % доверительного интервала), σ – стандартное отклонение генеральной совокупности (можно оценить по предварительным данным или использовать консервативное значение 0,5), E – допустимая погрешность (например, 0,05 для 5 % точности).

Например, если мы хотим измерить долю пользователей, которые совершают покупку на нашем сайте, и хотим, чтобы ошибка выборки была не больше 3 %, то можно рассчитать объем выборки следующим образом:

То есть нам нужно опросить около 1067 пользователей, чтобы получить достоверную оценку доли покупателей на нашем сайте.

Размер выборки может корректироваться в процессе, если размер ошибки выборки оказывается недостаточным для принятия решения. Например, когда значение метрики гипотезы с учетом погрешности проходит по минимальной границе (см. п. 4.3.3.2).

Анализ результатов и подготовка выводов

Нужно учитывать не только статистическую значимость, но и возможную казуальность, то есть причинно-следственную связь между изменением метрик и внедрением инициативы.

Не всегда улучшение метрик связано с конкретной инициативой, а может быть обусловлено другими факторами, например, рекламной кампанией или сезонностью.

Чтобы исключить ошибочную казуальность, важно проводить A/В тесты, при которых одна группа пользователей видит старый вариант продукта, а другая – новый, и сравнивать их поведение.

➠ Для исключения влияния рекламных кампаний на результаты теста можно использовать метод контрольной группы. Это означает, что в бакеты[57] попадают только пользователи, которые видели одну и ту же рекламу, например эталонную кампанию, которая идет постоянно. Таким образом можно исключить влияние фактора сезонности или других рекламных акций на поведение пользователей.

➠ Для исключения влияния обновлений функциональности на результаты теста можно использовать метод заморозки. Это означает, что при попадании в бакет пользователь не видит никаких изменений в продукте, кроме тех, которые тестируются. Таким образом можно исключить влияние других нововведений на поведение пользователей. Например, в Netflix при проведении А/В-тестов пользователи не получают обновления контента или алгоритмов рекомендаций, чтобы не искажались результаты теста.

➠ Для проверки эффективности разных вариантов дизайна, текста или расположения элементов на странице можно использовать метод разделения трафика. Это означает, что часть пользователей видит один вариант страницы, а вторая часть – другой, и сравниваются их показатели, такие как кликабельность, конверсия, время на сайте и т. д. Таким образом можно определить, какой вариант лучше соответствует целям продукта. Например, в Google проводили А/В-тесты, чтобы выбрать оптимальный цвет кнопки, количество результатов поиска на странице или способ отображения рекламы.

Корректировка финансовой модели инициативы и портфеля инициатив

Финансовая модель инициативы – это расчет ожидаемой доходности и рисков инициативы, основанный на прогнозных показателях. Модель портфеля инициатив – это расчет оптимального соотношения инициатив в зависимости от их доходности, рисков и взаимосвязи. По результатам мониторинга внедрения можно скорректировать эти модели и пересмотреть приоритеты реализации инициатив в портфеле.