Эксперименты

Подход к проведению экспериментов и A/B тестов: цели, метрики, дизайн и интерпретация результатов.

Назначение

Проверка гипотез (изменение UX, алгоритма, фичи) на части трафика или пользователей с контролем группы сравнения.
Принятие решений на основе данных: статистическая значимость, размер эффекта, риски; без экспериментов — только наблюдательный анализ и корреляции.

Гипотеза и метрики до запуска: формулировка гипотезы, главная метрика (primary) и дополнительные (secondary), критерии успеха и остановки; документирование в описании эксперимента.
Рандомизация и контроль: пользователи или сессии распределяются в контроль и тест случайно; минимальное вмешательство других факторов в период эксперимента.
Статистическая значимость: объём выборки и длительность достаточны для заявленной чувствительности; использование корректных критериев (t-test, bootstrap и т.д.) в зависимости от типа метрик.
Этика и безопасность: эксперименты не ухудшают критичный UX и не нарушают обязательства перед пользователями; при необходимости откат по Feature flags.

Feature flags используются для включения варианта (A/B) для части пользователей; см. Feature flags.
События и метрики для эксперимента собираются по Event Tracking Plan; метрики экспериментов — в Product Metrics / Experiment Metrics.
Отчётность: результаты экспериментов оформляются по Reporting Standards; при положительном решении — rollout и отключение флага по процессу релиза.

На текущем этапе платформы эксперименты могут проводиться на уровне приложений (если есть трафик и инструменты); инфраструктура экспериментов (A/B платформа, автоматический анализ) при масштабировании документируется отдельно.
Не делать выводы по одному эксперименту без проверки на воспроизводимость и без учёта контекста (сезонность, когорты).

На странице