Короткий ответ
Для понимания отдельной причины лучше ограничить набор. Если меняется весь путь, оценивайте результат комплекса и фиксируйте это ограничение.
Сначала определите границы воронки
Зафиксируйте единицу анализа. Для последовательности оформления удобно использовать внутренний идентификатор попытки оформления, связанный после создания с номером заказа. Повторные клики в рамках одной попытки не должны становиться несколькими покупателями. Если нужна статистика по людям, рассчитывайте её отдельно и описывайте правило объединения.
В этом разборе «подтверждённый заказ» означает запись, принятую системой магазина. «Оплачен» — отдельно подтверждённое состояние платежа. Эти события могут наступать в разное время.
Контекст из материала «Как проверить оформление заказа: корзина, доставка, оплата и отказы». Полный порядок действий — в исходном разборе.
Как сравнивать версии после изменения
Сначала подтвердите, что событие означает одно и то же до и после правки. Затем сравните одинаковый сценарий, устройства, источники трафика и доступность товаров. Изменившаяся доля оплаты может быть следствием другого состава посетителей.
Если доступно случайное распределение версий, заранее выберите основной показатель и условия остановки. Если сравниваете периоды, сохраните даты акций, изменения цен и наличие. Не назначайте универсальный достаточный размер выборки: он зависит от исходной доли и величины изменения, которое требуется различить.
Контекст из материала «Как проверить оформление заказа: корзина, доставка, оплата и отказы». Полный порядок действий — в исходном разборе.
Чек-лист перед изменениями
Сначала убедитесь, что показатель измеряется одинаково до и после изменения. Наблюдение за ростом само по себе не объясняет его причину: сезонность, состав трафика и другие изменения тоже влияют на сравнение.
Отметки нужны только для самопроверки. Они не отправляются и не сохраняются после перезагрузки.
