Юзабилити-исследования – прекрасный инструмент для получения пользовательских инсайтов, но они не всегда дают статистически значимый результат, на основе которого можно было бы принять однозначное решение в пользу того или иного варианта
Третьим шагом в решении этого принципиального вопроса было проведение A/B-тестирования. Команда разработчиков в сроки, сопоставимые со временем, требуемым для рекрутинга на юзабилити-исследование, создали «легкие» тестовые версии двух видов навигации. Мы открыли эксперимент на небольшую группу клиентов и предупредили их о проведении эксперимента во всплывающем окне при запуске приложения. У участников была возможность отказаться.
А/В-тестирование может не показать разницу в конверсии, если стоимость переключения с исследуемого продукта на другой для пользователя высока (на тот момент, чтобы сменить банк, нужно было приходить с паспортом в отделение), – он завершает сценарии вне зависимости от удобства навигации. Хотя потом это негативное переживание, вероятно, послужит стимулом к смене продукта при удобном случае
После обработки данных по конверсиям мы не увидели значимой разницы между вариантами. Скорее всего, это было связано с тем, что в приложениях вроде банковских наблюдается так называемый эффект лосося[56]. Если человеку необходимо пополнить баланс мобильного телефона, он готов преодолевать значительные трудности, чтобы достичь цели. Пользователь может в голос проклинать приложение и после успешного выполнения сценария переключиться на конкурентов, но показатели конверсии (отношение количества тех, кто прошел путь до конца, к количеству тех, кто начал) будут в районе 98 %.
Затем наши эксперты по исследованию данных (data science experts) проанализировали время, которое пользователи проводят на первой странице, и выявили, что в варианте с кнопкой люди в среднем проводят меньше времени, чем в версии с таб-баром. Следовательно, они быстрее ориентируются и быстрее обучаются.
Распределение по времени, которое пользователи проводят на первой странице. У варианта с кнопкой лучшие показатели, у варианта с таб-баром и исходной версии изменений нет
Как вы, может быть, заметили, в моем примере варианты A и B сравнивались не только между собой (как и положено при A/B-тестировании), но и с предыдущей версией. Такое исследование называется А/А-тестированием.
Постоянное измерение того, как улучшение повлияло на метрики продукта, – важная часть культуры компании. В современных продуктовых компаниях существует практика повторяющихся встреч для мониторинга ситуации, на которых владельцы продукта рассказывают всем заинтересованным лицам о бизнес-результатах внедрения той или иной функциональности. Такие встречи позволяют учиться на чужих ошибках в случае неудачи и привносить новые идеи по своим направлениям.
Постоянный анализ результатов внедрения – обязательная часть производственного процесса.
Тестирование решения на определенной группе пользователей дает достаточно данных для принятия статистически обоснованных решений, но без наблюдения за пользователями не всегда получается разобраться в причинах каких-либо явлений.
Дизайн продукта – это постоянный поиск баланса, в котором задействуются разные виды исследований, в зависимости от местоположения «слепого пятна» – того этапа сервисного сценария, для которого пока невозможно объяснить значение метрик или их изменения.
Прототипы – важный артефакт в производстве цифровых продуктов. С одной стороны, это удобный пограничный объект, помогающий унифицировать видение участников процесса, зафиксировать договоренности, достигнутые во время сессии коллективного творчества. С другой стороны, прототипы применяются для исследования пользовательского поведения, как это было описано выше.
Прототип – это ранний экземпляр, модель или релиз продукта, основной целью которого служит проверка гипотез о пользовательском поведении и получение дополнительных откровений о возможных вариантах реализации.
Схема классификации прототипов. Прототипы, применяемые в цифровом производстве, условно разложены по двум осям – по степени абстрактности и по степени интерактивности
Все прототипы, применяемые в цифровом производстве, условно раскладываются на плоскости по двум осям – степени абстрактности и степени интерактивности. Под степенью абстрактности понимается степень сходства внешнего вида прототипа с финальным визуальным оформлением цифрового продукта, то есть чем более детален прототип, тем менее он абстрактен. Под степенью интерактивности – степень схожести набора действий (клики, свайпы, ввод данных), необходимых для выполнения функции, в прототипе и финальном продукте.