Понять основные практики, необходимые для проведения исследований, представить концепцию Discovery , чтобы показать, как быстро сформулировать гипотезу, методы проверки гипотез
Столкнувшись с новой возможностью или проблемой, которую нужно решить, наш человеческий инстинкт заключается в том, чтобы сразу перейти к решению, не исследуя должным образом проблемное пространство, не проверяя предположения, присущие предлагаемому решению, и не ставя перед собой задачу проверить решение с реальными пользователями.
После того как мы определи основные цели, необходимо понять, как их достичь и понять узкое место в продукте, мешающее их достижению.
Теория ограничений подразумевает, что производительность системы будет ограничена узким местом. Если узкое место не будет изменено, система не улучшится. Когда происходит воздействие на узкое место, система меняется.
Для того чтобы определить узкое место нужно провести анализ, направленный на систематизацию знаний о продукте через бизнес-модель, причинно-следственные связи между элементами бизнес-модели, запаздывающие и опережающие показатели успеха.
Для локализации причин замедления роста мы разложили NSM на составляющие метрики и посчитали их динамику во времени. В модели роста нас интересуют два фактора. Во-первых, это чувствительность ключевой метрики к различным опережающим переменным. Второй — это уровень неопределенности опережающих переменных, к которым чувствителен ключевой показатель.
Следующим этапом является понимание рычага воздействия - это способ влиять на систему, чтобы "получить максимальный эффект на единицу усилий". Это такой аналог принципа Парето, или правила 80/20, который говорит о том, как 80% результатов можно достичь, затратив 20% усилий.
По сути, везде, где мы можем сосредоточиться, чтобы приумножить наши инвестиции энергии/времени. Если вы определили вашу основную метрику северной звезды NSM, то можно задать вопрос - что сейчас больше всего влияет на ее улучшение? Узкое место как проблема описывается через улучшение опережающих показателей, влияющих на NSM, которые напрямую связаны с изменением поведения клиентов.
Самый неэффективный способ протестировать бизнес-модель или идею продукта состоит в том, чтобы спланировать и создать полный продукт, чтобы увидеть, действительно ли существует предсказанный рынок для него. Частью проблемы является язык, который мы используем для описания процесса разработки продукта. Лучше перестать использовать слово «требования» при разработке продукта, по крайней мере, в контексте неопределенных функций. То, что у нас есть, это скорее гипотезы. Мы считаем , что конкретная бизнес-модель, продукт или функция окажутся ценными для клиентов. Но мы должны проверить наши предположения. Мы можем применить научный подход к проверке этих предположений, проведя эксперименты.
Мы измеряем воздействие через показатели экспериментов. Это тот момент, когда на сцену выходит хорошо подготовленный и проницательный процесс обнаружения продукта.
По своей сути, Product Discovery направлен на снижение неопределенности на основе данных в отношении проблем, которые стоит решить, и решений, которые стоит разработать, посредством серии нелинейных действий, проводимых межфункциональной командой.
В этом подходе есть два ключевых нововведения по сравнению с традиционной проектной работой. Во-первых, мы прекращаем использовать детальное планирование как способ управления рисками. Вместо этого мы находим клиентов и проводим "дешевые" эксперименты, чтобы выяснить, подходит ли наша предлагаемая бизнес-модель или продукт на самом деле и имеет ли ценность для них. Во- вторых, вместо того, чтобы создавать только один план, мы итерируем, проводя серию экспериментов, чтобы обнаружить соответствие продукта/рынка, поскольку мы ожидаем, что в условиях неопределенности наша первая идея вряд ли принесет плоды.
Это определение может показаться нелогичным, если у вас нет опыта проведения экспериментов в научном контексте. В экспериментальной науке результат измерения никогда не бывает просто одним значением. Это скорее представляет собой распределение вероятностей , представляющее диапазон возможных значений. Например, измерение моего положения с точностью до 1 метра гораздо ценнее, чем то же самое положение с точностью до 100 км. Смысл инвестирования в измерения в научном контексте состоит в том, чтобы уменьшить неопределенность в отношении фактического значения некоторой величины. Так, в частности, если мы выражаем наши оценки точными числами (в отличие от диапазонов), мы настраиваем себя на неудачу: вероятность того, что мы уложимся в дату через 6 месяцев точно с точностью до дня , практически равна нулю.
В методологии Lean Startup мы применяем системный подход, итеративно прорабатывая этот процесс. Мы начинаем с того, что выясняем, что нам нужно узнать , создавая гипотезу. Затем мы решаем, что измерить , чтобы проверить эту гипотезу. Затем мы разрабатываем эксперимент, называемый минимально жизнеспособным продуктом, который мы создаем , чтобы собрать необходимые данные от реальных клиентов, чтобы определить, подходит ли наш продукт/рынок.
Cуществует два типа экспериментов: качественные и количественные:
- “Сначала соберем данные, потом решим”
- “Зачем все это делаем пока не понимаем”
- Слишком общие исследовательские гипотезы
- Сосредоточение исследований на пользователях, с которыми могут легко общаться, и на методах, с которыми наиболее знакомы
- Чрезмерно сфокусированы на том, какие исследования проводят и как это делать.
Вот несколько вопросов, которые вы можете задать себе, чтобы оценить свои исследовательские навыки:
- моя команда учиться непосредственно у наших пользователей/клиентов хотя бы раз в неделю?
- каждое ли решение о продукте, которое принимает моя команда, основывается как на бизнес-целях, так и на потребностях пользователей?
- регулярно ли моя команда использует как наш продукт, так и конкурирующие/смежные продукты, чтобы лучше понять потребности и поведение наших пользователей?
- отражают ли потребности и цели пользователей, сформулированные моей командой , потребности и цели наших пользователей, или это просто то, что бизнес хочет видеть в этих потребностях и целях?
-> В первую очередь нужно решить: почему нужно проводить исследование и на какой показатель мы хотим повлиять?
Ключевым результатом эксперимента является информация: мы стремимся уменьшить неопределенность относительно того, будет ли предлагаемая работа достигать целевого состояния. Есть много разных способов, которыми мы можем проводить эксперименты для сбора информации. Имейте в виду, что эксперименты часто будут иметь отрицательный или неубедительный результат, особенно в условиях неопределенности; это означает, что нам часто нужно настраивать, уточнять и развивать наши гипотезы или придумать новый эксперимент, чтобы проверить их.
Ключ к экспериментальному подходу к разработке продукта заключается в том, что мы не делаем никаких серьезных новых разработок без предварительного создания гипотезы , чтобы мы могли определить, принесет ли наша работа ожидаемую ценность.
Контролируемые онлайн-эксперименты
Возможно, самый поразительный результат A/B-тестирования заключается в том, что многие, казалось бы, отличные идеи не повышают ценность (60–90 % идей не улучшают показатели, для улучшения которых они предназначались).
Проводя эксперимент с достаточно большим числом пользователей, мы стремимся собрать достаточно данных, чтобы продемонстрировать статистически значимую разницу между A и B для интересующей нас бизнес-метрики, известной как OEC (общий критерий оценки).
Параметр - контроллируемая экспериментальная переменная, которая, как ожидается, влияет на OEC. В простом аб-тесте обычно используют один параметр с двумя уровнями. Вариант - тестируемый пользовательский опыт, обычно путем присвоения значений параметрам. В простом аб-тесте варианты А и Б - это два варианта, контрольный и тестовый.
Статистическая мощность (statistical power) - вероятность обнаружения значимого различия между вариантами, когда эта разница действительно есть. Каждый эксперимент должен обладать достаточной статистической мощностью, чтобы с высокой вероятностью сделать вывод о том, привел ли эксперимент к более значимым изменениям, чем предполагалось. Чем больше выборка, тем больше мощность. Обычно эксперимент планируется при мощности 80-90%.
Когда мы создаем эксперимент для использования в рамках A/B-тестирования, мы стремимся сделать гораздо меньше работы, чем потребовалось бы для полной реализации рассматриваемой функции. Мы можем рассчитать максимальную сумму, которую мы должны потратить на эксперимент, определив ожидаемую ценность информации, которую мы получим в результате его проведения. Генерация изменения бизнес-метрики более чем на несколько процентов встречается редко и обычно может быть приписана закону Тваймана: «Если статистика выглядит интересной или необычной, она, вероятно, неверна».
Статистическая значимость является относительной, а не абсолютной величиной. Вам нужно определить, какое p-value имеет смысл для ваших тестов и продукта: то, что хорошо для маркетинговой кампании — может быть недостаточно значительным для испытаний лекарств.
Какие p-значения являются приемлемыми, обычно зависит от конкретной ситуации. Если вы работаете с человеческими жизнями, как в случае с испытаниями лекарств, вам нужно, чтобы p-значение было как можно ближе к НУЛЮ. С другой стороны, если вы пытаетесь выяснить, вызывает ли ЗЕЛЕНАЯ кнопка больше кликов, чем красная кнопка, более высокие P-значения (0,05–0,1) могут быть приемлемыми, но, честно говоря, не намного выше этого. Но опять же, все зависит от контекста проблемы.
Если вы вице-президент по маркетингу, 90-процентной значимости результатов A/B-тестирования может быть достаточно, чтобы связать рост продаж с ребрендингом веб-сайта. Конечно, все еще есть 10% шанс, что рост продаж связан просто со случайностью в тестируемой выборки и не имеет ничего общего с ребрендингом. Но для маркетолога это может быть приемлемо.
Но если вы исследователь, пытающийся выяснить, излечивает ли определенное лекарство определенную болезнь, то вероятность в 10% может быть слишком высокой. Вам может понадобиться уровень значимости 99,95%, иначе вы не сможете с уверенностью сказать, что препарат действительно работает!
Итак, вы видите, что статистическая значимость относительна — она зависит от того, что именно вы тестируете — и, что более важно, каковы последствия этого теста?
В конечном счете, единственный важный вопрос заключается в следующем: насколько точным вы хотите быть при установлении причинно-следственной связи?
Качественные исследования не могут быть достаточно точными, так как не используют методы статистики для анализа результатов, поэтому обычно субъективные выводы исследователя о проблеме и решении должны быть проверены количественными исследованиями (это так называемое смешанное исследование). Однако без качественных исследований невозможно выявить инсайты о клиентах.
И наоборот, тот факт, что вы НЕ получили статистически значимых результатов, не означает, что их нет. Это называется ложноотрицательным результатом — когда ваш тест не отвергает нулевую гипотезу, а должен ее принять. Это происходит, когда вы хотите обнаружить очень небольшие изменения в проверочной группе, а ваш тест маломощный.
Доступно несколько калькуляторов размера выборки, которые учитывая величину эффекта, который вы хотите обнаружить, сообщат вам размер выборки, который вам понадобится для достижения определенной значимости. Например, Калькулятор размера выборки.
Размер выборки играет большую роль в достижении значимости теста, но это еще не все. При проверке гипотез учитываются дополнительные факторы, которые вместе помогают тесту достичь значимости.
Вы не можете просто выбрать размер выборки изолированно, не определив размер эффекта, который вы хотите обнаружить. Это, однако, менее широко известно, но это так же важно.
Например, базовый коэффициент конверсии вашей целевой страницы составляет в среднем 20% на каждые 100 посетителей в день. Вы знаете это, потому что измеряли его в течение нескольких месяцев или даже лет.
Вы хотите проверить, увеличивает ваш коэффициент конверсии новая версия страницы как минимум на 5%, то есть 21 конверсию вместо 20 на каждые 100 посетителей в день. Другими словами, вы хотите проверить, конвертируется ли еще 1 клиент.
Как правило, чем меньшее изменение вы пытаетесь обнаружить, тем труднее для проверки гипотезы достичь значимости. Это связано с тем, что сложнее сказать, конвертировался ли еще один дополнительный клиент из-за новой версии страницы или же из-за случайности. Чтобы обнаружить такой небольшой эффект — вам придется проводить тест в течение нескольких дней (что в основном означает, что вы увеличиваете размер выборки). С другой стороны, если вы хотите обнаружить 50-процентное увеличение конверсии, то есть 10 дополнительных клиентов в день, было бы намного проще обнаружить эффект такого масштаба, так как он маловероятен из-за чистой случайности и меньшего размера выборки.
Например, вы тестируете 2 идентичные копии целевой страницы, однако одна из них показывает увеличение конверсии на 15%, и результаты статистически значимые!
Ложные срабатывания часто являются результатом изменчивости трафика/ошибок выборки. Это может произойти, если ваш целевой тестовый сегмент слишком широк и отличается высокой изменчивостью.
Результаты обоих треков активности сильно влияют друг на друга и в определенной степени происходят параллельно все время:
- Убедитесь, что в командах есть люди, которые им нужны для проектирования, запуска и развития экспериментов
Каждая команда должна обладать полномочиями и необходимыми навыками для выдвижения гипотезы, разработки эксперимента, проведения A/B-тестирования и сбора полученных данных. Поскольку команды небольшие, это обычно означает, что они кросс-функциональны. Это не исключает наличия централизованных групп специалистов, которые могут оказывать поддержку продуктовым командам по запросу.
- Убедитесь, что командам не требуется одобрение финансирования, чтобы проводить эксперименты
Финансирование не должно быть препятствием для проверки новых идей. Команды не должны требовать одобрения для расходования денег до определенного предела (например, лимита на месяц).
- Убедитесь, что лидеры сосредоточены на продуктовом подходе
В растущей организации руководители должны постоянно работать над упрощением процессов и усложнением бизнеса, над повышением эффективности, автономии и возможностей мельчайших организационных единиц, а также над воспитанием новых лидеров внутри этих единиц.
Если мы собираемся применить тщательный экспериментальный подход, нам нужно изменить то, что мы считаем результатом нашей работы: не только проверенные идеи, но и информацию, которую мы получаем в ходе проведения экспериментов. Нам также необходимо изменить то, как мы думаем о разработке новых идей; в частности, важно работать небольшими партиями и проверять каждое предположение, стоящее за идеей, которую мы проверяем.
У некоторых людей возникают проблемы с поэтапным подходом к созданию продуктов. Распространенное возражение против экспериментального подхода заключается в том, что он приводит к локально оптимальным, но глобально субоптимальным решениям, и что он ставит под угрозу общую целостность продукта, убивая прекрасное целостное видение тысячей A/B-тестов.
Хотя, безусловно, можно получить уродливый, сверхсложный продукт, когда командам не удается применить целостный подход к пользовательскому опыту, это не является неизбежным результатом A/B-тестирования. Эксперимент не должен заменять видение вашего продукта. Скорее, это позволяет вам развивать свою стратегию и видение оперативно реагировать на реальные данные от клиентов используя ваши продукты в своей среде. A/B-тестирование не будет эффективным без видения и стратегии.
Есть еще два препятствия для использования экспериментального подхода к разработке продукта. Во-первых, планирование экспериментов сложно: мы должны предотвратить их взаимодействие друг с другом, применять оповещения для обнаружения аномалий и спроектировать их так, чтобы они давали достоверные результаты. В то же время мы хотим свести к минимуму объем работы, которую необходимо выполнить для сбора статистически значимых данных.
Наконец, научный подход к разработке продуктов и клиентов требует интенсивного сотрудничества между специалистами по продукту, дизайнерами и техническими специалистами на протяжении всего жизненного цикла каждого продукта.
Еще одной из наиболее распространенных проблем, возникающих при проведении исследований, является сосредоточенность команд, менеджеров по продуктам и организаций на управлении затратами, а не ценностью. Обычно это проявляется в чрезмерных усилиях, затрачиваемых на действия с нулевой добавленной стоимостью, такие как подробный предварительный анализ, создание бизнес-кейсов и т.д. Эти симптомы являются результатом сосредоточения внимания на максимальном использовании ("занятии наших дорогих людей") и сроках/бюджетах.
Эти препятствия являются причиной того, что мы настоятельно не рекомендуем людям применять инструменты, обсуждаемые в этой главе, без предварительного создания основ процессов управления продуктом.
Чек-лист вопросов:
- Что происходит в вашей организации, когда значительные усилия были вложены в идею, которая, как оказалось, не представляет большой ценности для пользователей или организации или даже ухудшает ситуацию?
- Были ли количественно определены ожидаемые результаты клиентов для функций, над которыми вы работаете? Есть ли у вас способ измерить фактические результаты?
- Какие исследования пользователей вы проводите на прототипах, прежде чем выпускать их более широко? Как можно получить обратную связь быстрее и дешевле?
- Когда вы в последний раз лично наблюдали, как ваш продукт используется или обсуждался в реальной жизни?
- Можете ли вы придумать дешевый способ проверить ценность следующей части работы в вашем бэклоге?