Далее вы разрабатываете и внедряете выбранную идею улучшения главной метрики. Наилучшим вариантом было бы использовать при этом платформу A/B-тестирования, чтобы опробовать улучшение на небольшой части пользователей. Это позволяет получить сравнимые значения метрики для оценки относительной эффективности сделанного улучшения в сравнении с базовым показателем. Если у вас нет платформы для проведения A/B-тестирования, и при этом метрика, которую вы пытаетесь улучшить, имеет относительно стабильное значение, вы можете после реализации идеи улучшения провести простое сравнение показателей «до» и «после». Однако я настаиваю, что применение A/B-тестирования является более предпочтительным вариантом, поскольку оно снижает риск влияния неизвестных факторов, приводящих к возникновению разницы в полученных результатах.
Конечно, на протяжении всего процесса вы надеетесь улучшить целевой показатель. Однако, даже если этого в итоге не происходит, вы все равно добьетесь прогресса, поскольку получите ценный опыт, который сможете применить для создания более совершенных гипотез на последующих итерациях. Теперь вы пересматриваете свой список идей по улучшению метрики и выбираете следующую лучшую идею (занявшую изначально второе место при оценке рентабельности инвестиций). Затем вы повторяете весь цикл, показанный в правой части Рисунка 14.1.
В конце концов, после опробования нескольких идей вы должны, наконец, увидеть действительное улучшение целевого показателя. В ходе таких повторений цикла рентабельность проверяемых идей будет постепенно снижаться. Это может привести к тому, что в какой-то момент обнаружится, что лучшие возможности для улучшения представляет уже другая метрика.
В этом случае, как показано на Рисунке 14.1, вы должны вернуться с уровня Метрики на Глобальный уровень, проанализировать показатели и определить новую НЗМ для ее улучшения. После этого вы снова применяете описанный выше цикл итеративного улучшения, но уже к этой метрике.
Повторные выполнения данного процесса позволяют осуществлять систематическое улучшение бизнеса. Наличие продвинутой аналитической платформы и набора информационных панелей обеспечивает отслеживание прогресса в этом направлении. Использование платформы для A/B-тестирования помогает проводить регулярные эксперименты, чтобы увидеть, смогут ли новые идеи обеспечить более высокий результат по сравнению с тем, что уже находится в реализации. Как только в вашем распоряжении окажутся все критически важные элементы – аналитическая платформа, информационные панели, платформа A/B-тестирования – и будет запущен процесс непрерывного совершенствования, ограничивающим фактором останется лишь то, насколько быстро вы сможете выявлять и внедрять лучшие креативные идеи для своего продукта и бизнеса.
Решение проблемы локального максимума
На этом этапе возникает опасность застрять на локальном максимуме. В какой-то момент в процессе улучшения метрики у вас может возникнуть ощущение, что дальнейшее продвижение невозможно. Иногда это действительно так; вы настолько хорошо потрудились над совершенствованием своего продукта, что в отношении целевого показателя достигли максимума возможного. Однако в некоторых случаях вы просто застреваете на локальном максимуме, хотя на самом деле могли достичь большего, если бы рассмотрели возможность применения совершенно иного подхода.
Например, если у вас есть целевая страница, вы могли бы провести A/B-тестирование разных вариантов цветов для главной кнопки, чтобы определить, какой из них дает наибольший коэффициент конверсии. Разработчик Google протестировал 41 оттенок синего цвета для своей панели инструментов, чтобы понять, какой из них обеспечивает наилучший коэффициент кликабельности. Однако, если вы прекратите итерации после того, как подберете наилучший цвет для своей главной кнопки, вы, вероятно, застрянете на локальном максимуме. Таким же образом необходимо поэкспериментировать с различными вариантами сообщений, изображений, макетов страниц и так далее, чтобы посмотреть, сможете ли вы добиться еще более высокого коэффициента конверсии. Скорость улучшения напрямую зависит от того, насколько быстро вы сможете выявить и реализовать хорошие идеи. A/B-тестирование упрощает проведение экспериментов, но определить гипотезы для проверки должны вы сами. Чтобы не застрять на локальном максимуме, вы должны быть уверены, что используете все имеющиеся возможности для поиска потенциальных идей, направленных на улучшение вашего продукта.
Анализ бережливого продукта на примере Friendster
В качестве иллюстрации процесса анализа бережливого продукта и методического руководства по его реальному воплощению я приведу подробный пример того, как он был успешно применен на практике. Пример связан с уже упоминавшимся приложением Friendster, работая над улучшением которого, мне удалось более чем удвоить ключевой показатель всего за одну неделю.