Статья
A/B-тест на сайте: как провести и не обмануть себя
A/B-тест — способ проверить, какой вариант страницы приносит больше заявок, не на вкус, а на цифрах: половина посетителей видит один вариант, половина — другой. Звучит просто, но большинство тестов на небольших сайтах заканчиваются ложными выводами. Разбираем, как провести тест правильно и когда он вообще имеет смысл.
Как это работает
- Выбираете, что меняете: заголовок, кнопку, порядок блоков, форму, цену в объявлении.
- Посетителей случайно делят на две группы: группа A видит старый вариант, группа B — новый.
- Обе группы живут одновременно, в одинаковых условиях, пока не наберётся достаточно данных.
- Сравниваете конверсию — долю посетителей, которые оставили заявку или купили, — и проверяете, что разница не случайна.
Что стоит тестировать
- Заголовок и предложение на первом экране — самое сильное влияние на результат.
- Цену и то, как она подана: одна цена «от» или три пакета с ценами.
- Форму — количество полей, текст кнопки.
- Порядок блоков — отзывы выше или ниже цен.
- Главную кнопку — текст и место.
Цвет кнопки — самый популярный и обычно самый бесполезный тест: заметность важнее оттенка. О тексте и месте кнопки — в статье «Кнопка призыва к действию».
Сколько нужно посетителей
Главное ограничение A/B-тестов: им нужно много данных. Считать надо не посетителей, а целевые действия — заявки или покупки. Если в месяц сайт приносит 20 заявок, тест двух вариантов будет идти месяцами, а разница в пару заявок окажется случайностью.
Перед тестом прикиньте в калькуляторе A/B-тестов, сколько посетителей нужно, чтобы заметить ожидаемую разницу. Если выходит больше, чем сайт получит за пару месяцев, тест не нужен — лучше вносить изменения по здравому смыслу и следить за конверсией до и после.
Где провести
- Вариокуб — сервис A/B-тестов Яндекса, связанный с Метрикой: варианты и результаты видны рядом с привычной статистикой.
- Средствами сайта — разработчик делает два варианта страницы и случайное распределение посетителей, а результат считается по целям Метрики.
- В рекламе — разные объявления и разные посадочные страницы в одной кампании: самый простой способ проверить предложение.
Ошибки, которые дают ложный результат
- Остановить тест, как только один вариант «вырвался вперёд». В начале цифры прыгают — нужно дождаться заранее рассчитанного объёма.
- Менять несколько вещей сразу. Если поменялись заголовок, цена и фото одновременно, непонятно, что сработало.
- Тестировать неполную неделю. Посетители в понедельник и в субботу ведут себя по-разному — тест должен идти целыми неделями.
- Считать не ту цель. Больше кликов по кнопке — ещё не больше заявок. Цель должна быть той, ради которой работает сайт. Как настроить цели — в статье «Цели в Яндекс Метрике».
- Тестировать мелочи на маленьком трафике — разницу в 3% на сотне посетителей не увидеть.
Если трафика мало
Небольшому сайту честнее не тестировать, а улучшать: убрать очевидные препятствия, переписать первый экран, сократить форму — и сравнить конверсию за месяц до и после, с поправкой на сезон и рекламу. Как считать конверсию и что считать нормой, разобрано в статье «Конверсия сайта».
Когда сайт проще переделать, чем тестировать
Если мелкие тесты уже ничего не дают — первый экран не цепляет, путь до заявки запутан, — сайт проще пересобрать. При редизайне мы сначала разбираем текущий сайт: структуру, тексты, путь до заявки и, если подключена Метрика, где уходят посетители. А если нужна отдельная страница под рекламу, посмотрите лендинг.