A/B-тесты на сайте небольшой компании: как проверять идеи, когда трафика мало

Почему обычный A/B-тест на малом трафике врёт

A/B-тест — это когда одну и ту же страницу показывают двум случайным половинам посетителей в разных версиях и сравнивают, у какой больше заявок. Метод честный, но он живёт на статистике, а статистика требует количества. Именно на этом ломаются почти все тесты в небольших компаниях.

Смотрите, что происходит на цифрах. Сайт получает 800 визитов в месяц, конверсия в заявку 2% — это 16 обращений. Делим трафик пополам: по 400 визитов и по 8 заявок на вариант. На второй неделе одна заявка «переехала» из варианта А в вариант Б просто потому, что человек написал в понедельник, а не в пятницу. Конверсия варианта Б поднялась с 2% до 2,25%. Вы видите «плюс 12%» и внедряете изменение на весь сайт. На самом деле вы увидели случайность, и с тем же успехом можно было подбросить монетку.

Чтобы не гадать, посчитайте нужный объём заранее. Есть правило большого пальца: количество визитов на один вариант ≈ 16 × p × (1 − p) / d², где p — ваша текущая конверсия в долях (2% = 0,02), а d — прирост, который вы хотите заметить, тоже в долях (рост с 2% до 3% — это d = 0,01). Подставляем: 16 × 0,02 × 0,98 / 0,0001 = порядка 3100 визитов на каждый вариант, то есть 6200 всего. Формула грубая, но она честно отвечает на главный вопрос: хватит ли вам трафика в принципе.

Из таблицы следуют три практических вывода. Первый: чем выше базовая конверсия, тем дешевле тест — поэтому на малом трафике мерять надо не финальную заявку, а промежуточный шаг с конверсией 10–30%. Второй: искать надо крупные эффекты. Если вы заранее знаете, что изменение способно дать максимум +10%, тест бессмысленен — просто решайте на здравом смысле и опыте. Третий: срок теста считается до запуска, а не «посмотрим, как пойдёт». В наших проектах разумный горизонт одного теста — от двух до шести недель; всё, что дольше двух месяцев, обычно ломается сезоном, изменениями в рекламе или правками, которые кто-то внёс на сайт и забыл сказать.

И отдельно: часть идей вообще не нужно тестировать. Если страница грузится 6 секунд на телефоне, вы не проверяете гипотезу — вы чините поломку. То же с битой вёрсткой формы на мобильных или отсутствующим номером телефона в шапке. Сначала уберите очевидные потери — например по чек-листу из материала о том, как скорость сайта влияет на конверсию, — и только потом тратьте свои редкие «попытки» на спорные гипотезы.

Что тестировать, когда попыток в год всего шесть

Посчитайте свой бюджет попыток. При 1500 визитах в месяц и сроке теста 3–5 недель у вас выходит 8–12 экспериментов в год, и то если ничего не сорвётся. Это не «давайте попробуем и посмотрим» — это ресурс, который надо распределять как рекламный бюджет. Значит, нужен список гипотез и правило отбора.

Откуда брать гипотезы — пять источников, которые работают у всех.

1. Вебвизор в Яндекс Метрике: откройте «Отчёты → Вебвизор», поставьте фильтр «визиты без достижения цели» и длительность от 40 секунд, посмотрите 20 записей подряд. Обычно к десятой записи становится видно одно и то же место, где человек мечется: непонятная таблица цен, форма с полем «ИНН», прайс, который не открывается на телефоне.
2. Отчёт «Формы» в Метрике: показывает, сколько людей начали заполнять форму и на каком поле бросили. В наших проектах это самый быстрый источник гипотез — часто одно поле съедает 20–30% начатых заполнений.
3. Вопросы, которые клиенты задают менеджерам. Попросите записывать их две недели в общий файл или Telegram-чат. Тридцать записанных вопросов — это тридцать блоков, которых не хватает на сайте.
4. Внутренний поиск по сайту (отчёт «Содержание → Поиск по сайту»). Люди буквально печатают, чего не нашли.
5. Отчёт по устройствам: сравните конверсию мобильных и десктопа. Разрыв больше чем в полтора раза — это не «так у всех», это конкретная задача.

Как отбирать. Оцените каждую гипотезу по трём параметрам от 1 до 5: сколько людей увидит изменение, насколько сильно оно меняет опыт (косметика или новая логика), насколько дёшево внедряется. Перемножьте, отсортируйте по убыванию. Наверх обычно всплывают вещи вроде «показать вилку цен», «сократить форму», «переписать первый экран под конкретный запрос», а не «поменять иконки».

Что обычно двигает цифру в малом бизнесе. Цена или хотя бы диапазон — сайты, где цены нет вообще, в наших проектах чаще всего проигрывают тем, где висит вилка «от и до» с пояснением, от чего зависит. Структура формы: сокращение с 6 полей до 3 обычно даёт прирост отправок 15–40%, и это как раз тот масштаб эффекта, который на малом трафике реально заметить. Первый экран: соответствие заголовка тому, что человек искал. Блок доверия — фото производства, реальные объекты, документы. Способ связи: добавление кнопки мессенджера рядом с формой обычно перераспределяет часть обращений и увеличивает их общее число на 10–20%, особенно на телефонах. Отдельная большая тема — карточка товара или услуги; что именно в ней влияет на решение, подробно разобрано в материале про элементы карточки, которые влияют на конверсию.

Чего не стоит тестировать на малом трафике: цвет и форму кнопки, шрифты, слово «Отправить» вместо «Оставить заявку», порядок пунктов в меню. Эффект таких правок обычно 2–5%, а шум ваших данных — 20–30%. Отличить одно от другого практически невозможно. Если очень хочется — просто внедрите то, что кажется логичнее, и не тратьте на это попытку. Заодно проверьте базовые вещи, которые поисковые системы и люди считают признаком нормальной компании, по чек-листу коммерческих факторов: часто там находится три-четыре недостающих блока, и их внедрение не требует никакого теста.

Что мерить: цели, микроконверсии и деньги

Главная беда малого трафика — маленький знаменатель. Лечится он тем, что вы измеряете не только финальную заявку, но и шаги к ней. Это называется микроконверсиями: клик по номеру телефона, открытие формы, нажатие «рассчитать», просмотр блока с ценой, скролл до 75% страницы, переход в мессенджер, скачивание прайса. Таких событий обычно в 10–30 раз больше, чем заявок, и их хватает на честное сравнение за две-три недели вместо полугода.

Как настроить это в Метрике, по шагам. Зайдите в счётчик, нажмите шестерёнку «Настройка», откройте вкладку «Цели», нажмите «Добавить цель». Дальше по типам: для кнопок и ссылок берите тип «Клик по кнопке» (Метрика предложит выбрать элемент прямо на странице) или «JavaScript-событие», если кнопку вешает разработчик; для телефона и почты есть отдельные типы целей по клику; для формы — «Отправка формы» или событие, которое срабатывает после успешной отправки, а не по нажатию кнопки (иначе в цель попадут неудачные отправки с ошибками валидации). Отдельно сделайте «Составную цель»: шаг 1 — открыл форму, шаг 2 — отправил. Она сразу покажет, на каком шаге теряются люди, без всякого теста.

Сразу проверьте, что цели действительно срабатывают: откройте «Отчёты → Стандартные отчёты → Конверсии» за сегодня и сделайте контрольную заявку сами с телефона. В наших проектах примерно каждый третий сайт, который приходит на аудит, имеет хотя бы одну сломанную цель — считает нажатия, а не отправки, или дублирует конверсию на странице «спасибо» при обновлении. Пока цели врут, тестировать нечего. Подробный порядок настройки без пропусков разобран в материале про цели в Яндекс Метрике.

Не забудьте про звонки. В услугах, строительстве, медицине и автотематике по телефону, как правило, приходит значительная часть обращений — в наших проектах это обычно от 40 до 70%. Если вы их не считаете, любой тест сравнивает половину реальности. Клик по номеру на мобильном — приемлемая замена, но он завышает картину: часть кликов случайные. Когда обращений по телефону много, дешевле поставить подмену номера; когда именно она окупается, а когда это лишние деньги, разобрано в статье про то, в каких случаях нужен коллтрекинг.

И главное — деньги. Микроконверсия может вырасти, а выручка упасть. Классика: убрали из формы поле «бюджет» — заявок стало на 35% больше, но половина из них не по адресу, и менеджер тратит на них два часа в день. Поэтому у каждого теста должно быть два показателя: основной (микро- или макроконверсия) и контрольный — доля целевых обращений или средний чек. Считайте их вручную по CRM или таблице, даже если выборка маленькая: 20 заявок посмотреть глазами реально, и это часто спасает от неверного вывода.

Ещё одна деталь: не смешивайте в тесте трафик разного качества. Люди, пришедшие по названию компании, конвертируются в разы лучше холодного поиска, и если в одну неделю бренда было больше, вы получите красивый, но выдуманный результат. В Метрике это лечится сегментом: в отчёте нажмите «Визиты, в которых» → «Источники» и исключите прямые заходы и брендовые запросы.

Как технически запустить тест: три рабочих способа

Способ первый — эксперименты в Метрике и Директе. Это штатный инструмент: он делит аудиторию на сегменты по посетителям (а не по визитам, что важно — иначе один человек увидит обе версии) и позволяет смотреть отчёты в разрезе вариантов. Порядок такой. В Метрике откройте раздел «Эксперименты», создайте новый, задайте доли сегментов — на малом трафике всегда 50/50, никаких 90/10. Получите код эксперимента и поставьте его на сайт выше кода счётчика; разработчик в этом коде определяет, какую версию показывать. После этого в отчётах Метрики появится возможность сегментировать данные по варианту. Если тест крутится на рекламном трафике, эксперимент подключается и в кампании Яндекс Директа — в параметрах кампании есть блок для выбора эксперимента и сегмента. Так одна кампания ведёт на вариант А, вторая на Б, а ставки и бюджет остаются общими.

Способ второй — сплит на стороне сайта. Работает на любой CMS: WordPress, Битрикс, OpenCart. Логика простая: при первом заходе посетителю случайно присваивается вариант, он записывается в cookie на 30–60 дней, и человек всегда видит одну и ту же версию. Вариант передаётся в Метрику параметром визита, чтобы потом резать отчёты. Три технических требования, которые нельзя нарушать: обе версии живут на одном URL (не делайте /page-b/ — это дубль и путаница в поиске); если версии всё же на разных адресах, вторая закрывается тегом canonical на основную, а проверить результат нужно в Яндекс Вебмастере в разделе «Индексирование → Страницы в поиске»; обе версии должны грузиться одинаково быстро — если тестовый вариант тяжелее на секунду, вы измеряете скорость, а не идею.

Способ третий — чередование по неделям. Самый недооценённый на малом трафике. Никакого сплита: неделю показываем версию А, неделю Б, потом снова А и снова Б. Минимум четыре отрезка, обычно 6–8 недель. Плюс в том, что весь трафик видит одну версию, данных на каждую версию вдвое больше, а повторение A-B-A-B гасит недельные колебания. Минус — сезонность и изменения в рекламе искажают картину, поэтому переключайте только в понедельник утром, ведите календарь и в это время ничего больше не меняйте.

Что сделать до старта, в любом из способов.

• Зафиксировать дату окончания и нужное число визитов на вариант — записать это в задачу до запуска.
• Проверить обе версии на телефоне, в двух браузерах, при медленном интернете. Сломанная вёрстка одного варианта — самая частая причина «убедительного» результата.
• Заморозить рекламу: не менять бюджеты, объявления и стратегии на время теста.
• Проверить, что счётчик Метрики стоит на обеих версиях и не задваивается — это видно в отчёте по времени на сайте, где появляются массовые визиты по 0 секунд.
• Записать в блокнот, что именно вы меняете и какой результат считаете успехом. Формулировка «стало лучше» результатом не является.

Если счётчик ставится с нуля или вы не уверены, что он собирает всё нужное — вебвизор, карту скроллинга, электронную коммерцию, — пройдите сначала по инструкции о том, как настроить Яндекс Метрику правильно. Тест на кривой аналитике — это просто более дорогой способ ошибиться.

Альтернативы A/B: что делать, если данных не хватит никогда

Есть сайты, где честного теста не будет: 300 визитов в месяц, 5 заявок, средний чек в сотни тысяч. Это нормально — просто инструмент другой. Ниже сравнение методов, из которых обычно и собирается работа над конверсией небольшой компании.

Качественные методы дают больше всего пользы на старте. Двадцать записей Вебвизора, карта скроллинга (видно, дочитывают ли до блока с ценой) и карта кликов (видно, куда жмут по тому, что кликабельным не является) закрывают половину вопросов за один вечер. Добавьте пять коротких разговоров: позвоните клиентам, которые купили месяц назад, и спросите, что смущало перед обращением и с кем сравнивали. Это не статистика, но пять человек подряд, сказавшие «я не понял, входит ли монтаж в цену», — достаточное основание переписать блок без всякого теста.

Сравнение «до и после» — можно, если аккуратно. Возьмите четыре недели до изменения и четыре после, обязательно с одинаковым рекламным бюджетом и без праздников внутри периода. Дополнительно возьмите контрольный показатель, на который изменение не влияло, — например конверсию другого раздела сайта. Если он вёл себя так же, скорее всего, вы поймали общий сезонный сдвиг, а не эффект правки. В наших проектах это простое сравнение с контрольным разделом отсекает примерно половину «побед».

Тестируйте не только сайт. Самое узкое место часто вообще за его пределами: скорость ответа на заявку, текст первого сообщения в мессенджер, вопрос, с которого менеджер начинает разговор. Эти вещи чередуются по дням недели вручную и дают эффект, который видно на десятках, а не на тысячах. Отдельно проверьте, доходят ли до вас все заявки: письма падают в спам, интеграция с почтой отваливается. Что и как сводить в единую картину, чтобы такие потери были видны, описано в материале про отчёты Метрики, которые действительно нужны.

Пять ошибок, которые владелец делает сам

Ошибка первая, самая дорогая: смотреть на результат каждый день и остановить тест, когда цифра нравится. Это называется подглядыванием. Конверсия в первые дни скачет очень сильно, и рано или поздно один из вариантов случайно вырвется вперёд. Если в этот момент нажать «стоп», вы, скорее всего, зафиксируете шум. Правило простое: дата окончания и нужное число визитов записываются до запуска, и до этой даты решение не принимается. Смотреть отчёты можно — принимать решения нельзя. Единственное исключение — если один из вариантов сломался технически или явно проваливается вдвое: тогда тест останавливают и чинят, а не объявляют победителя.

Вторая: менять всё сразу. Переписали первый экран, заодно поправили форму, добавили отзывы и в тот же понедельник подняли ставки в рекламе. Результат вырос — и вы не знаете почему, а значит не сможете повторить. На малом трафике это особенно обидно, потому что попыток мало. Держите принцип «одно изменение — один тест». Исключение — если вы сознательно проверяете новую версию страницы целиком; тогда так и формулируйте гипотезу: «новая структура страницы против старой», и не пытайтесь потом разбирать, что именно сработало.

Третья: считать конверсию по всему трафику подряд. В общую цифру попадают заходы по названию компании, повторные визиты тех, кто уже звонил, случайные переходы из соцсетей и заходы самих сотрудников. Обязательно исключите свои IP в настройках счётчика («Настройка → Фильтры»), а в отчётах сегментируйте по источникам. В наших проектах разница между «конверсией сайта вообще» и конверсией холодного поискового трафика обычно двукратная — и решения по этим цифрам принимаются разные.

Четвёртая: гнаться за количеством заявок, забыв о качестве. Про это уже сказано выше, но повторю, потому что владелец наступает на это чаще всего: упрощение пути обычно даёт больше обращений и чаще всего — больше нецелевых. Всегда держите второй показатель: доля обращений, дошедших до расчёта или замера. Если он просел на треть, «победа» была поражением.

Пятая: делать редизайн вместо теста. Логика владельца понятна — сайт надоел, у соседей красивее, давайте всё перерисуем. Но редизайн меняет одновременно сотню элементов, и если конверсия упадёт, откатить будет нечего и некуда: старая версия уже удалена. Минимальная страховка — сохранить работающую копию старого сайта, выкатывать новую версию по разделам и первые четыре недели смотреть не только на заявки, но и на поисковый трафик в Вебмастере. Чем такие переделки заканчиваются без подстраховки, наглядно показано в разборе кейса, где редизайн уронил трафик. Правило простое: чем красивее макет, тем сильнее хочется внедрить его без проверки — и тем строже нужен план отката.

Шестая, бонусная: копировать решение конкурента. У соседнего сайта другой трафик, другая аудитория и, возможно, его форма из одного поля работает плохо, просто он этого не измеряет. Чужое решение — это гипотеза, а не ответ.

2026 год: что изменилось для тестирования

Мобильный трафик стал не «важным», а основным. В наших проектах на телефоны приходится 70–85% визитов, в услугах для частных лиц бывает и выше. Это меняет саму механику теста: сравнивать надо внутри устройства. Сегментируйте отчёт по «Технологии → Устройства» и смотрите мобильные и десктоп раздельно. Ситуация, когда новая версия выиграла на компьютере и проиграла на телефоне, встречается регулярно — обычно из-за того, что важный блок на маленьком экране уезжает вниз на третий экран. И тестируйте сначала мобильную версию: там и трафика больше, и эффект заметнее, значит нужный объём данных наберётся быстрее.

Нейропоисковые ответы изменили состав аудитории. Часть людей теперь получает ответ прямо в выдаче или в диалоге с нейросетью и переходит на сайт уже подготовленной: таких визитов меньше, но они обычно глубже и конвертируются лучше. Практический вывод для тестов — трафик стал разнороднее, и общая конверсия скачет сильнее, чем два года назад. Отсюда правило: перед стартом посмотрите в Метрике конверсию по неделям за последние три месяца. Если она гуляет от 1,2% до 3,5% без всяких изменений на сайте, тест на 3–4 недели ничего не докажет — берите более длинный горизонт или чередование. Заодно проверьте, попадают ли ваши материалы в такие ответы: подход к текстам, которые их формируют, разобран в материале о том, как писать текст под нейропоиск.

Автостратегии Директа мешают чистоте эксперимента. Кампания на автостратегии постоянно перераспределяет показы в сторону того, что лучше конвертит, — это её работа. Но если вы одновременно тестируете две версии посадочной, алгоритм начнёт подливать трафик к «удачной» версии, и вы получите не результат теста, а результат работы алгоритма. Что с этим делать: не запускать тест в первые две недели после старта или крупных правок кампании; не менять ставки, бюджеты и цели во время теста; при делении кампаний пополам помнить, что каждая половина учится на своей статистике и обучение может сорваться. Признаки и лечение этой ситуации описаны в разборе про остановленное обучение стратегии. В единой перфоманс-кампании отдельной посадочной для теста может и не быть — тогда тестируйте в рамках эксперимента, а не разрезанием кампаний.

Юридическая рамка. Если тестируете рекламные объявления или креативы, помните: у каждого варианта своя маркировка и свой идентификатор — два креатива это два комплекта данных, а не один. Если тест затрагивает форму, где человек оставляет имя, телефон или почту, галочка согласия на обработку персональных данных и ссылка на политику должны быть в обеих версиях: убирать их «ради упрощения формы» нельзя, даже если это повысит конверсию. То же касается cookie-баннера — его вид тоже иногда тестируют, и здесь легко перейти границу. Точную формулировку согласия и текст политики лучше согласовать с юристом, а не переписывать по образцу с чужого сайта.

И последнее по 2026 году: инструментов для тестов стало меньше, часть зарубежных сервисов недоступна или неудобна в оплате. Практика показывает, что для небольшой компании связки «эксперименты Метрики + простой сплит на стороне сайта + чередование по неделям» хватает полностью, а деньги правильнее тратить на сами изменения, а не на платформу для их проверки.