A/B-тестирование лендинга: как растить конверсию на фактах, а не на вкусе

A/B-тестирование — это способ проверить изменение на лендинге на живых посетителях: одна половина видит текущую страницу, другая — изменённую, и вы сравниваете, где больше заявок. Тест показывает, какой вариант действительно работает лучше, а не какой больше нравится руководителю или дизайнеру. Работает метод только при достаточном трафике и честном подсчёте, иначе легко принять случайность за результат. Ниже разберём, как устроен тест, что проверять в первую очередь, сколько ждать и что делать, если посетителей мало.

Что такое A/B-тест и как он работает

Решения по сайту часто принимают на вкус: руководителю не понравился заголовок — поменяли. Проблема в том, что вкус и поведение посетителей совпадают не всегда. A/B-тест убирает спор: решает не мнение, а цифры.

Посетители случайно делятся на две группы. Одна видит текущий вариант страницы — его называют контрольным, или вариантом А. Вторая видит изменённый — вариант Б. Оба варианта работают одновременно, а человек при повторном заходе попадает на ту же версию, что и в первый раз. Через какое-то время сравнивают конверсию — долю посетителей, оставивших заявку: где она выше, тот вариант и побеждает. Меняют обычно что-то одно, чтобы понимать, что именно повлияло.

Почему нельзя просто поменять страницу и сравнить «до» и «после»? Потому что за это время меняется всё остальное: сезон, настройки рекламы, цены конкурентов, даже погода. Рост заявок после правки может быть вызван чем угодно. Одновременный показ двух вариантов случайным группам — единственный способ отделить эффект изменения от внешних причин.

Когда A/B-тест имеет смысл, а когда нет

Тест — инструмент для страниц с потоком посетителей. На лендинге, который получает несколько заявок в месяц, он ничего не покажет, сколько ни жди.

Что тестировать в первую очередь

Чем ближе элемент к началу страницы и к смыслу предложения, тем сильнее он влияет на результат.

Цвет кнопки почти никогда не решает. Сначала тестируйте смысл: оффер, заголовок, структуру. Это даёт прирост в разы больше, чем игры с оттенками.

Идеи для вариантов есть в наших материалах про заголовок и оффер лендинга, про поля формы и про структуру продающего лендинга.

Как сформулировать гипотезу

Гипотеза — это предположение, которое можно проверить. Удобная формула: «Если мы изменим X, показатель Y вырастет, потому что Z». Например: «Если вынести цену на первый экран, заявок станет больше, потому что сейчас до блока с ценой долистывает меньшая часть посетителей». Часть «потому что» самая важная: она заставляет опираться на наблюдение, а не на вкус.

Откуда брать наблюдения:

• записи визитов и карты скроллинга в Вебвизоре: где посетители останавливаются, что пропускают, откуда уходят;
• вопросы, которые клиенты задают менеджерам: если об одном и том же спрашивают постоянно, на странице этого ответа нет или он не заметен;
• возражения, которые звучат при продаже: дорого, долго, непонятно, что входит;
• статистика по форме: сколько человек начали заполнять и сколько отправили.

Гипотез всегда больше, чем времени на их проверку. Расставьте их по двум признакам — насколько сильно изменение может повлиять на заявки и насколько просто его сделать — и начинайте с тех, что сильнее и проще.

Как провести A/B-тест: пошагово

1. Убедитесь, что цели в аналитике настроены и считают заявки правильно. Без этого сравнивать будет нечего — начните с настройки Метрики.
2. Запишите гипотезу и главный показатель до запуска. Обычно это конверсия в заявку, а не клики по кнопке.
3. Оцените нужный объём данных калькулятором размера выборки: он попросит текущую конверсию и прирост, который вы хотите заметить.
4. Подготовьте вариант Б, изменив один смысловой элемент.
5. Настройте в инструменте распределение посетителей поровну между вариантами.
6. Проверьте оба варианта на телефоне и компьютере и отправьте с каждого тестовую заявку.
7. Запустите тест и не вмешивайтесь: не меняйте страницу и не перестраивайте рекламу посередине.
8. Дождитесь запланированного объёма данных и полных недель.
9. Сравните конверсию, проверьте статистическую значимость и посмотрите на качество заявок в каждой группе.
10. Оставьте победителя и запишите результат — в том числе если гипотеза не подтвердилась.

Чем проводить тест

• Varioqub. Сервис Яндекса для экспериментов на сайте. Работает в связке с Метрикой: варианты распределяются автоматически, результаты видны по целям счётчика.
• Встроенные тесты конструкторов. Если лендинг собран на конструкторе, например на Tilda, A/B-тест страниц можно запустить его штатными средствами.
• Эксперименты в Яндекс Директе. Подходят, когда нужно сравнить не только страницы, но и связки «объявление плюс посадочная». О том, как согласовать рекламу и страницу, — в статье про лендинг под Директ.
• Собственное решение. Разработчик настраивает распределение посетителей на стороне сайта и передаёт номер варианта в аналитику. Это гибче, но требует аккуратной реализации.

В старых инструкциях часто советуют Google Optimize — этот сервис закрыт в 2023 году, так что такие руководства устарели.

Сколько должен длиться тест

У теста два условия остановки, и выполнить нужно оба. Первое — набран объём данных, который вы рассчитали до запуска. Второе — прошли полные недели, обычно не меньше одной-двух: в будни и выходные люди ведут себя по-разному, и тест, остановленный в среду, перекошен в сторону начала недели.

Главный враг результата — случайность. Представьте: вариант А получил 10 заявок с 500 посетителей, вариант Б — 13 с тех же 500. Выглядит как рост на 30 процентов, но такая разница легко возникает сама собой: повторите тест, и варианты могут поменяться местами. Отличить закономерность от совпадения помогает статистическая значимость — оценка того, насколько вероятно, что разница не случайна. Её считают встроенные отчёты инструментов и онлайн-калькуляторы; принятый ориентир — 95 процентов.

Отсюда правило: не останавливайте тест в тот момент, когда один из вариантов вырвался вперёд. В первые дни лидер меняется часто, и если проверять результат каждый день и остановиться на удобной цифре, «победить» может любой вариант.

Частые ошибки

• Останавливают тест на следующий день — данных слишком мало, результат случаен.
• Меняют сразу всё и не понимают, что сработало.
• Сравнивают периоды с разным трафиком — например, будни и распродажу. Это не A/B-тест, а сравнение «до и после».
• Принимают за победу разницу в пару заявок, которая ничего не значит.
• Считают клики, а не заявки. Яркая кнопка собирает больше нажатий, но до отправки формы доходит столько же людей.
• Не смотрят на качество заявок. Вариант с обещанием «бесплатно» может дать больше обращений и меньше продаж. Сверяйте результат с тем, что видит отдел продаж.
• Меняют рекламу во время теста. Новая кампания приводит другую аудиторию, и сравнение теряет смысл.
• Не проверяют мобильную версию варианта. Если на телефоне вариант Б сломан, тест измеряет ошибку вёрстки, а не гипотезу.
• Не записывают результаты. Через полгода команда заново спорит о том, что уже проверяли.

Что делать, если трафика мало

При малом трафике A/B-тест неинформативен, но это не значит, что страницу нельзя улучшать.

• Исправляйте очевидное без теста: непонятный заголовок, длинную форму, отсутствие цены и контактов, медленную загрузку.
• Смотрите записи визитов в Вебвизоре — десятка записей обычно хватает, чтобы увидеть, где люди спотыкаются.
• Попросите нескольких человек из целевой аудитории выполнить задачу на сайте и проговорить вслух, что им непонятно.
• Спрашивайте клиентов, что их чуть не остановило перед заявкой.
• Проверяйте формулировки в рекламе: заголовки объявлений набирают статистику по кликам намного быстрее, чем лендинг по заявкам. Формулировку-победителя переносите на страницу.
• Если выбираете формат, сравните с обычной страницей квиз-лендинг: крупное изменение даёт разницу, которую видно и на небольших объёмах.

Чек-лист перед запуском теста

• Цели в Метрике настроены, тестовая заявка фиксируется.
• Гипотеза записана в формате «если — то — потому что».
• Выбран один главный показатель — конверсия в заявку.
• Рассчитан нужный объём посетителей и примерный срок теста.
• Варианты отличаются одним смысловым элементом.
• Оба варианта проверены на телефоне и компьютере.
• На время теста не запланированы акции и изменения в рекламе.
• Решено заранее, когда тест будет остановлен.

Коротко

A/B-тест сравнивает два варианта страницы на случайных группах посетителей в одно и то же время. Он полезен при стабильном трафике, когда проверяют смысл — оффер, заголовок, форму, — и дожидаются достаточного объёма данных. При малом трафике разумнее исправлять очевидное и изучать поведение посетителей.

Если хотите лендинг, который не просто красивый, а растущий по конверсии, — соберём его и поможем выстроить проверку гипотез на реальном трафике.