• Уменьшите шум: подумайте, как можно разбить или отсортировать метрики, чтобы снизить разброс значений и шум. Например, вы хотите узнать количество пользователей, оставивших комментарии, а не количество самих комментариев. Если показатели количества и качества ежедневных новых пользователей сильно разнятся (например, из-за появления статей в прессе или попадания продукта в рекомендации магазина приложений), большинство графиков можно настроить так, чтобы они не учитывали пользователей, не прошедших качественный отбор. К примеру, можно оставлять только тех, кто завершил настройку или пользовался приложением по крайней мере три дня.

• Нормализуйте метрики: попробуйте нормализовать показатели, разделив их на количество активных пользователей, – так линии в графиках всегда будут горизонтальными, пока не будут зафиксированы значительные изменения. Так, к примеру, общее число ежедневных комментариев идет вверх при увеличении пользовательской базы, и, просто взглянув на график, сложно определить, стал ли каждый из пользователей оставлять больше комментариев. А если взять общее количество комментариев и разделить его на число активных пользователей, можно быстро это выяснить.

• Учитывайте сезонность: некоторые продукты используются чаще в определенные дни недели или время года. Если не принимать этот момент во внимание, то сложно понять, будет ли тенденция восходящей или нисходящей. Проследить этот момент проще всего, проведя пунктирную линию от показателей прошлого года (или прошлой недели) к текущим и отметив сезонные колебания.

• Показывайте средние значения за 7 дней: некоторые продукты отличаются своим непостоянством и могут резко набирать популярность благодаря вирусной публикации или какому-то другому событию. И чтобы лучше разобраться в тенденциях, полезно просмотреть среднее значение за 7 (или 14, 28 и т. д.) дней. Это касается и продуктов, объем использования которых варьируется в зависимости от дня недели.

РЕГУЛЯРНО ПРОВЕРЯТЬ ПОКАЗАТЕЛИ СВОЕЙ КОМАНДЫ

Проводить обзор продуктовых метрик нужно на постоянной основе. Это позволяет быстро выявлять любые неожиданные изменения показателей и оперативно устранять проблемы. Вот некоторые ключевые вопросы для проверки метрик:

• Как поменялись графики для тех или иных показателей по сравнению с предыдущим периодом? Они пошли вверх или вниз? Что вызвало эти изменения?

• Отмечается ли влияние недавних продуктовых или маркетинговых изменений на показатели?

• Превысил ли какой-либо показатель свой порог настолько, что это стоило бы отметить?[28]

• Прослеживаются ли какие-нибудь долгосрочные тенденции? Можно ли увидеть, какие показатели подтверждают или опровергают продуктовую стратегию?

В некоторых командах вводят очередность отслеживания показателей. Каждую неделю назначается человек, который анализирует метрики и отслеживает любые непредвиденные изменения. Благодаря этому вся команда в курсе изменения показателей и существует гарантия, что проверка действительно проводится.

ИЗУЧАТЬ ДАННЫЕ

Так же как пользовательские исследования дают новые сведения о клиентах, так и изучение данных о продукте может выявить новые возможности для его развития. К использованию данных можно подходить творчески, но, чтобы это делать, нужно понимать, какие данные вообще существуют. Приведем пример.

Однажды моя команда в Google решила использовать IP-адреса пользователей, чтобы выдавать релевантные по местоположению результаты поиска на запросы типа «пиццерия». Мне казалось, что IP-адреса для этого было достаточно. Но как я могла это доказать? Мы не горели желанием сразу же проводить эксперимент – он не смог бы показать, как точно можно предсказать местоположение пользователя по IP-адресу. А множество ошибочных результатов поисковой выдачи сильно бы раздражали клиентов.