Пользователи не всегда осознают, что в прототипе условное, а что – «настоящее». Например, при попытке пополнить баланс мобильного телефона они безуспешно пытаются отыскать его в списке по последним четырем цифрам своего номера.
Реализация сложных способов взаимодействия, типа свайпов, 3D-touch[43] или drug’n’drop[44], а также причудливой анимации требует больших затрат времени и ресурсов. В результате исследования может получиться так, что не все гипотезы, заложенные в прототип, подтвердятся, а значит, некий артефакт не будет на все 100 % утилизирован.
Если качественные исследования используются скорее для того, чтобы получить от респондентов озарения и откровения о продукте, для генерации гипотез или для их логического подтверждения, то с помощью количественных исследований команды стремятся получить статистическое подтверждение гипотез и выявить корреляцию между феноменами. Как уже говорилось во введении, у продукта есть множество прямых и косвенных характеристик, определяющих его «здоровье». Ранее мы уже сравнивали метрики с градусником, показывающим температуру тела, – повышенное значение может быть симптомом, предшествующим ухудшению здоровья. Между качеством опыта и финансовыми показателями очевидна очень четкая связь, поэтому компании инвестируют деньги в исследование продуктов, определение сигнальных значений качественных метрик и ежедневный дэшбординг.[45]
Основными источниками данных для количественных исследований служат интерфейсная аналитика и опросы.
Пример карты метрик для каналов дистанционного банковского обслуживания, на основе которой разрабатывается дорожная карта сбора метрик. «Зомби» – клиенты банка, которые перестали использовать мобильный банк, но притом остались клиентами
Сбор данных о поведении пользователей в системах интерфейсной аналитики вроде Google Analytics и Яндекс.Метрика – абсолютный стандарт производства цифровых продуктов.
Система интерфейсной аналитики Yandex App Metrika позволяет получить данные об удержании пользователей, которые сталкивались / не сталкивались с конкретной функцией в приложении[46]
Это уже стало правилом производственной гигиены, как мытье рук перед едой. Scrum-команды часто вносят в пункт «Собирать данные о реализации действия в User Story…» в свои Definition of Done. Современные системы интерфейсной аналитики позволяют не только получать количественные показатели действий, но и находить корреляции с показателями жизнеспособности; например, можно обнаружить связь между использованием функции и удержанием.[47]
Данные разных систем аналитики могут значительно различаться, поэтому я рекомендую, подобно мореплавателям древности, держащим на корабле трое часов, подключать три системы аналитики. Причем одна из них должна быть вашей собственной системой логирования, чтобы данные о событиях сохранялись на собственном сервере. В этом случае, если данные одной из систем отличаются, можно делать оценку по данным двух остальных систем.[48]
Опросы – один из старейших видов маркетинговых исследований. Для цифровых продуктов самые популярные каналы проведения опросов – социальные сети, телефонные звонки, электронная почта, СМС и анкетирование непосредственно в самом продукте. Последнее можно считать одним из самых информативных способов, так как в нем можно соотнести результаты опроса с параметрами профиля клиента и с данными интерфейсной аналитики.
Опрос в приложении «Альфа-Мобайл» помогал оценить такие метрики, как
Для опросов характерно проявление эффекта наблюдателя, когда само проведение исследования влияет на его результат. Если часто дергать пользователей с опросами, то можно наблюдать негативное смещение в ответах или игнорирование. Если вам нужно замерять состояние NPS (индекс сетевого распространения; см. подробнее во введении) в динамике, то я рекомендую не делать это каждый раз на всю генеральную совокупность, а ориентироваться каждый месяц на новую незадействованную группу пользователей – минимального размера, но достаточно репрезентативную.
Слово «глубинный» подразумевает погружение на некий уровень, скрытый далеко под поверхностью.
Разговаривая с людьми и задавая им вопросы, не всегда можно определить их истинную мотивацию в выборе продукта и совершении каких-либо действий с ним.
Ниже мы рассмотрим популярные причины искажений:
• красивая правда;
• ложные воспоминания;
• конформизм.
Задача исследователя – копать чуть глубже, забраться под «оболочку» искажений и с помощью если не прямых, то косвенных вопросов найти истину.
Этапы глубинного интервью совпадают с этапами юзабилити-исследования: