Короткий ответ
Проверьте реализацию и измерение, затем оцените данные по принятому правилу. Воспроизводимую техническую проблему исправляют или откатывают; случайное колебание само по себе не доказывает ухудшение.
Проверьте событие и единицу наблюдения
Само наличие счётчика не подтверждает правильность измерения. Выполните контрольные действия и сопоставьте события с учётными записями. Если выбранный инструмент не поддерживает нужное распределение, потребуется другой способ реализации; не предполагайте наличие встроенных экспериментов в любой системе аналитики.
Контекст из материала «A/B-тесты при малом трафике: как проверять изменения и не переоценивать результат». Полный порядок действий — в исходном разборе.
Как оформить решение
Запишите гипотезу, вариант изменения, проверенные события, условия распределения, период и результаты. Отдельно перечислите ограничения: малый объём, незавершённые сделки, изменение источников или технический сбой.
Решение может быть разным: оставить исправление подтверждённого дефекта, продолжить наблюдение, откатить изменение с воспроизводимой проблемой или признать данных недостаточно. Не приписывайте изменению измеренный рост, если метод проверки этого не позволяет.
Контекст из материала «A/B-тесты при малом трафике: как проверять изменения и не переоценивать результат». Полный порядок действий — в исходном разборе.
Чек-лист перед изменениями
Начните с конкретного сценария: что человек хочет выбрать или уточнить и какая информация ему мешает. Запишите исходную ситуацию, действие и способ проверки, чтобы не подменять решение общими улучшениями.
Отметки нужны только для самопроверки. Они не отправляются и не сохраняются после перезагрузки.
