Заметка о том, почему «ручное» исследование поведения пользователей может быть полезнее, чем изучение большого объема данных в системе аналитики.

Источник: vc.ru

Приведенные выше утверждения — это заблуждения, а значит обратные им — истина. Сегодня мы поговорим о том, как обратное утверждение для первого заблуждения способно помочь исправить неприятную истину, выходящую из заблуждения номер два.

Первое заблуждение

Представьте себе бесконечных размеров бассейн с черными и белыми шариками. Ваша задача — узнать, какая часть шариков белая. Изначально вы находитесь в состоянии полной неопределенности. Насколько много данных вам надо, чтобы сформировать ответ на поставленный вопрос?

Если вы возьмете сто случайных шариков и посчитаете долю белых, то вы будете знать ответ с точностью до ±9,8%. Еще 100 шариков повысят точность вашего ответа до ±6,9%. Еще 200 шариков — до ±4,9%. Еще 600 шариков — до ±3,1%. Еще 9000 шариков — до ±1%.

Заметили, что первые 100 шариков дали нам намного больше знания, чем следующие 100? А шарики с 100 до 200 уточнили картину реальности больше, чем шарики с 1000 до 10 тысяч? Запомним это и перейдем ко второму заблуждению.

Второе заблуждение

Второе заблуждение заключается в том, что мы думаем, что понимаем продукты, над которыми работаем. На самом деле, не понимаем.

Мы всегда ищем способ такое непонимание сократить. Для этого мы пробуем новые инструменты и подходы, общаемся с пользователями, проводим эксперименты, занимаемся аналитикой.

Цель всех этих активностей простая — повысить понимание своего продукта и своих пользователей, найти возможности для роста и развития, повысить долю правильно принятых решений.

Смотрим на продукт глазами пользователей

Возьмите несколько ваших пользователей и наблюдайте за тем, как они используют продукт.

Нет, не надо проводить интервью с этими пользователями, не надо считать метрики, характеризующие их поведение в продукте. Надо прямо буквально взять конкретного пользователя и следить за тем, как он взаимодействует с продуктом на протяжении всего периода его использования.

Как это сделать? Если у вас грамотно настроена аналитика в продукте, то очень просто:

Выберите группу пользователей, которых вы хотите изучить (для получения ответов на разные вопросы вам потребуются разные пользователи).

Выгрузите для каждого пользователя из этой группы последовательность всех ивентов с их параметрами с момента начала использования и до текущего момента.

На выходе для каждого пользователя у вас должна быть последовательность его ивентов в вашем продукте. Для удобства разбейте эту последовательность на отдельные сессии.

Теперь у вас есть все необходимое, чтобы посмотреть на продукт глазами конкретного пользователя. Берите последовательность ивентов и начинайте её отсматривать, попутно делая пометки.

Вы увидите, как пользователь проходит через обучение, что он делает в первую очередь после этого, с какими сложностями он сталкивается по пути, в какой момент заканчивается его первая сессия, понял ли он к этому моменту суть вашего продукта, через какое время он возвращается обратно, зачем он возвращается обратно и многое другое. А теперь вернемся к первому заблуждению. Вам достаточно изучить подобным образом небольшое количество пользователей (50-100), чтобы сформировать понимание того:

Плюсы и минусы ручного разбора сессий

Разбор сессий ваших пользователей даст вам более полное понимание того, как люди пользуются продуктом. Не абстрактное знание популярности различных фичей и конверсии различных шагов воронки, а картину путей ваших пользователей внутри продукта от момента их прихода и до момента, когда они либо уйдут, либо ваш сервис станет неотъемлемой частью их жизни.

Еще один бонус ручного разбора сессий – вам будет проще продумывать изменения в продукте. Держа в голове текущие пути пользователей внутри сервиса, вы сможете лучше предсказывать, как и на каком этапе планируемые изменения повлияют на них. Ваши шансы принять правильное решение вырастут.

В отличии от метрик, данный метод теряет намного меньше информации, но, как это обычно бывает, у него есть и минусы. К сожалению, у вас не получится сравнить разные версии продукта на основе метода разбора сессий — слишком много их придется разобрать для получения статистически значимой картины. Для этой задачи лучше использовать когортный анализ.

В заключение

Почему-то многие думают, что аналитика — это про цифры, про математику. По-моему, аналитика — это про понимание происходящих процессов. Цифры и метрики способны с этим помочь и хорошо решают ряд задач, но не стоит ограничиваться лишь ими. Для ряда задач другие подходы, в том числе разбор сессий, будут намного полезнее.