Статья обновлена 28.08.2023
Для сравнения различных вариантов лендингов или креативов маркетологи используют A/B-тестирование, или сплит-тест. В материале расскажем, как проводить такое тестирование и какие сервисы помогут упростить этот процесс.
Статистика в A/B-тестировании
Современные сервисы A/B-тестирования выполняют процесс почти автоматически — вам не придется вручную сравнивать полученную статистику. Но для начала всё равно вспомним принципы, используемые в сплит-тестах. Это поможет выбрать подходящий сервис и грамотно интерпретировать полученный результат.
А/Б-тестирование, или сплит-тесты, — это проверка гипотезы и сравнение двух вариантов: А — исходного, Б — измененного. С помощью сплит-тестов можно проверить, какой из них дает больше конверсий и положительно влияет на юзабилити сайта.
Важное понятие для интерпретации результатов — статистическая значимость тестов. Это вероятность того, что разница между коэффициентами конверсии для версии A и Б не является случайностью.
Тест считается значимым, если он достигает заранее определенного уровня достоверности. 95% достоверности — стандартная настройка для A/B-теста.
То есть в 5% случаев есть вероятность, что в результаты закралась ошибка. Чтобы свести недостатки расчетов к минимуму, маркетологи повышают уровень достоверности теста: проверяют гипотезу на большем объеме трафика или конверсий. Чаще всего достаточно опираться на уровень достоверности 95%, который считается приемлемым.
Выбранный сервис A/B-тестирования покажет, когда тесты достигли статистической значимости на установленном уровне достоверности. Он также сообщит вероятность того, что у расчета есть недостатки, а полученные результаты — некорректные.
Обзор сервисов для А/Б-тестирования
Теперь рассмотрим самые популярные инструменты, включая лидеров рынка Google Optimize, Connvertize и VWO, а также другие более бюджетные по цене сервисы, доступные в России без VPN в 2023 году. Затем будет подробная инструкция по проведению A/B-тестирования.
Google Optimize
Google Optimize — инструмент A/B-тестирования от Гугла, является частью Marketing Platform. Он подключается к системе аналитики Google Analytics и без нее не работает
Есть 2 варианта использования:
1) для Гугл Optimize требуется плагин браузера Chrome;
2) Optimize 360 предоставляет платную услугу, которая может тестировать до 10 вариантов страницы, визуального или другого контента, а также проводить до 100 тестов одновременно.
Настройка и подписка, стоимость | Бесплатно либо от €1814 за 50 млн обращений к ресурсу |
Как загружаются страницы | На стороне клиента |
Возможность A/B/n-тестирования | Да |
Многовариантное тестирование, MVT | Да |
Режим «автопилота» или «многорукий бандит» | Нет |
Редактирование | Редактор типа WYSIWYG |
Библиотека идей | Нет |
Convertize
Convertize — инструмент A/B-тестирования, разработанный для веб-агентств и компаний среднего размера. Программное обеспечение позволяет любому маркетологу тестировать разные идеи без участия веб-мастера. Самые сложные части теста, такие как распределение трафика, автоматизированы.
Цена Convertize зависит от трафика вашего сайта, все тарифные планы включают полный функционал.
Настройка и подписка, стоимость | От 49$ в месяц за 20 000 посетителей |
Как загружаются страницы | На стороне клиента или на стороне сервера |
Возможность A/B/n-тестирования | Да |
Многовариантное тестирование | Да |
Режим «автопилота» или «многорукий бандит» | «Многорукий бандит» |
Редактирование | Редактор типа WYSIWYG |
Библиотека идей | Да |
VWO
VWO, Visual Website Optimizer — еще один популярный сервис A/B-тестирования, ориентированный на графику и дизайн, то есть визуальный контент разных типов.
Цена за VWO основана как на характеристиках тестов, так и на трафике. Самые бюджетные варианты тарифных планов включают всего 10 000 посетителей ежемесячно.
Настройка и подписка, стоимость | От 199$ в месяц за 10 000 посетителей |
Как загружаются страницы | На стороне клиента |
Возможность A/B/n-тестирования | Да |
Многовариантное тестирование | Да |
Режим «автопилота» или «многорукий бандит» | Нет |
Редактирование | Редактор типа WYSIWYG |
Библиотека идей | Да |
Altcraft Platform
Altcraft — платформа автоматизации многих маркетинговых задач, в том числе A/B-тестирования. Это инструмент для бизнеса различных масштабов — от стартапов до корпораций.
Настройка и подписка, стоимость | 22 425 рублей ежемесячно за все инструменты платформы |
Как загружаются страницы | На стороне сервера |
Возможность A/B/n-тестирования | Да |
Многовариантное тестирование | Да |
Режим «автопилота» или «многорукий бандит» | Нет |
Библиотека идей | Да |
SiteTuners
Site Tuners — агентство, специализирующееся на маркетинговом консалтинге. Цена сервиса A/B-тестирования зависит от количества выполненных вами тестов. Вариант подойдет компании среднего размера без собственного отдела маркетинга.
Настройка и подписка, стоимость | Цена по запросу, за каждый тест |
Как загружаются страницы | На стороне клиента |
Возможность A/B/n-тестирования | Да |
Многовариантное тестирование | Да |
Режим «автопилота» или «многорукий бандит» | Нет |
Zoho Pagesense
Этот инструмент от Zoho — доступный и удобный способ выполнять А/Б-тестирование сайтов. Он включает все основные интеграции и предлагает широкий спектр разных функций. Платформа не поддерживает многовариантные тесты. Однако это хороший вариант для малого и среднего бизнеса, у которого нет достаточного трафика для такого рода тестов.
Настройка и подписка, стоимость | От 18$ в месяц |
Как загружаются страницы | На стороне клиента |
Возможность A/B/n-тестирования | Да |
Многовариантное тестирование | Нет |
Режим «автопилота» или «многорукий бандит» | Нет |
Редактирование | Редактор типа WYSIWYG |
Библиотека идей | Нет |
Freshworks CRM
Компания Freshworks купила сервис Zarget в 2017 году и переименовала его во Freshmarketer. А затем сделала частью своего набора маркетинговых инструментов. Инструмент А/Б-тестирования входит в состав обширного пакета оптимизации коэффициента конверсии Freshworks CRM. Он включает функции теплового «картографирования» пути клиента, персонализации и редактирования страниц. Сервис предлагает бесплатный вариант А/Б-тестирования — до 10 000 посетителей ежемесячно.
Настройка и подписка, стоимость | От 29$ в месяц |
Как загружаются страницы | На стороне клиента |
Возможность A/B/n- тестирования | Да |
Многовариантное тестирование | Да |
Режим «автопилота» или «многорукий бандит» | Нет |
Редактирование | Да |
Библиотека идей | Нет |
Bound 360
Bound 360 — удобная платформа с интуитивно понятным интерфейсом. К сожалению, решение не предлагает возможности тестировать многовариантно.
Настройка и подписка, стоимость | Цена по запросу, от 80$ в месяц |
Как загружаются страницы | На стороне клиента |
Возможность A/B/n-тестирования | Да |
Многовариантное тестирование | Нет |
Режим «автопилота» или «многорукий бандит» | Нет |
Редактирование | Редактор типа WYSIWYG |
Библиотека идей | Нет |
Unbounce
Как и Clickthroo, Unbounce — решение для А/Б-тестирования лендингов. Это один из самых известных инструментов для создания и оптимизации целевых страниц. Он включает в себя ряд разных плагинов для всплывающих окон и закрепленных сообщений. В отличие от многих других инструментов из нашего списка, Unbounce предоставляет доступное решение как для малого, так и для крупного бизнеса.
Настройка и подписка, стоимость | От 80$ ежемесячно |
Как загружаются страницы | На стороне сервера |
Возможность A/B/n-тестирования | Да |
Многовариантное тестирование | Нет |
Режим «автопилота» или «многорукий бандит» | Нет |
Редактирование | Редактор типа WYSIWYG |
Библиотека идей | Нет |
Simplify
Simplify — универсальная платформа с девизом «Подойдет всем». Здесь можно не только проводить A/B-тестирование, но и опираться на дополнительные инструменты: визуальные тепловые карты, всплывающие окна, опросы на странице и аналитика. Этот набор функций поддерживает международная команда опытных специалистов.
Настройка и подписка, стоимость | По запросу, в зависимости от трафика, от 180$ в месяц |
Как загружаются страницы | На стороне сервера |
Возможность A/B/n-тестирования | Да |
Многовариантное тестирование | Да |
Режим «автопилота» или «многорукий бандит» | Нет |
Редактирование | Редактор типа WYSIWYG |
Библиотека идей | Нет |
Conductrics
Conductrics строится вокруг концепции версий. Платформа обеспечивает как персонализацию, так и A/B-тестирование. Это дает полный контроль над тем, кто и что видит на вашем сайте в плане визуального контента. Существует удобный конструктор страниц для маркетологов, не имеющих опыта программирования, — Conductrics Express, а также решение API для разработчиков.
Настройка и подписка, стоимость | По запросу, от 200$ в месяц |
Как загружаются страницы | На стороне клиента |
Возможность A/B/n-тестирования | Да |
Многовариантное тестирование | Да |
Режим «автопилота» или «многорукий бандит» | Да |
Редактирование | Редактор типа WYSIWYG |
Библиотека идей | Нет |
Monetate
Monetate входит в группу программного обеспечения для персонализации Kibo. Платформа основана на принципе оптимизации клиентского опыта и включает в себя А/Б-тестирование, персонализацию и сегментацию.
Настройка и подписка, стоимость | По запросу, от 230$ в месяц |
Как загружаются страницы | На стороне клиента |
Возможность A/B/n-тестирования | Да |
Многовариантное тестирование | Да |
Режим «автопилота» или «многорукий бандит» | Нет |
Редактирование | Редактор типа WYSIWYG |
Библиотека идей | Нет |
Omniconvert
Omniconvert — сервис, который ориентирован на малые и средние предприятия. Инструмент A/B-тестирования Explore предлагает функции локальной сегментации и персонализации.
Бесплатный план позволяет тестировать до 5000 просмотров. Он не является приемлемой альтернативой платному тарифу, так как с его помощью практически невозможно достичь статистически значительных результатов с таким объемом трафика.
Настройка и подписка, стоимость | От 324$ в месяц; есть 30-дневный бесплатный тест |
Как загружаются страницы | На стороне клиента |
Возможность A/B/n-тестирования | Да |
Многовариантное тестирование | Да |
Режим «автопилота» или «многорукий бандит» | Нет |
Редактирование | Редактор типа WYSIWYG |
Библиотека идей | Нет |
Существует также множество прикладных решений для А/Б-тестирования, которые работают со сторонними сервисами или существуют в виде надстроек к основному функционалу системы. Пример тому — CMS Тильда, tilda.cc, работающая через Гугл Optimize, CMS Bitrix, у которой есть собственный модуль для А/Б-тестов. Или сервис Roistat c отдельной опцией сплит-тестирования юзабилити сайта. Собственные сервисы предлагают также платформы для размещения рекламы Яндекс.Директ, где эта опцию включается в основной функционал для тестирования разных вариантов объявлений.
Есть и другая возможность для оперативной проверки вносимых изменений в каждой рекламной кампании — это интеграция сквозной аналитики на основе коннекторов. Инструмент подойдет в случаях, когда времени на длительные проверки нет, а увидеть и оценить результаты нужно быстро. Подключите все рекламные кабинеты, CRM и даже коллтрекинг к единому интерфейсу. Так вы увидите, что принесло больше всего клиентов, а какие объявления просто слили бюджет.
Как подготовиться к A/B-тестированию
В основе A/B-тестирования всегда лежит цель. Для большинства компаний целью является увеличение продаж и повышение коэффициента конверсии. Чтобы проверить, какая версия страницы работает лучше — А или B — необходимо обеспечить:
- гипотезу — конкретное предположение, какие изменения улучшат исходную страницу;
- исследование пользователей — знание того, как люди взаимодействуют с контентом;
- трафик — вы не сможете провести сплит-тестирование сайта без достаточной тестовой выборки;
- инструмент тестирования — приложение или программное обеспечение для оптимизации, управления трафиком и сбора результатов.
Как провести A/B-тестирование за 5 шагов
1. Анализ воронки
Прежде всего нужно выяснить, что нуждается в улучшении. Инструменты веб-аналитики, например, Гугл Аналитикс или Яндекс.Метрика, в числе прочего показывают, как посетители перемещаются по вашему сайту. Проведя анализ этих данных и обнаружив слабые места в своей воронке продаж, вы сможете определить, где необходимо внести изменения.
2. Создание и расстановка приоритетов для гипотез
Есть множество сервисов, которые помогают формировать гипотезы. Они варьируются от визуальных инструментов «тепловых карт», таких как Вебвизор от Яндекс.Метрика, до инструментов опросов, таких как Typeform.
Хороший A/B-тест должен иметь четко сформулированную гипотезу, основанную на реальных данных и тесно связанную с нужными KPI. Пример: если Вебвизор показывает, что люди долго ищут кнопку «Заказать», значит, следует сделать ее более заметной или задать визуальное выделение.
3. Настройка теста
Важно точно указать настройки теста. Перед запуском определите, какова цель тестирования, на какие страницы направлять трафик и как будет производиться выборка пользователей для теста. Продвинутые инструменты A/B-тестирования используют алгоритм Multi-Armed Bandit — «многорукий бандит» — для разделения посетителей между тестируемыми страницами.
Также необходимо определиться с уровнем достоверности, которого вы планируете достичь. Напоминаем, что ее уровень в 95% — привычный стандарт для проведения A/Б-тестов.
4. Проведение теста
Есть одно общее правило, как проводить А/Б-тест: избегайте искажения результатов из-за особенностей трафика, который поступает на тестовые страницы. Использование любых новых каналов трафика для привлечения дополнительного трафика часто меняет поведение потенциальных клиентов, создавая ложное представление о том, какая версия веб-ресурса лучше. Поэтому А/Б-тест стоит проводить на текущей аудитории сайта или же на аудитории, созданной на основе существующей. Также не стоит редактировать сценарии или любые настройки теста во время его выполнения.
Конечно, это не относится к случаям, когда тестирование должно выявить наиболее удачный рекламный креатив или визуальный контент. В таком случае основной целевой аудиторией исследования как раз являются пользователи, увидевшие ваши разные объявления.
Частая проблема новичков — непонимание, когда закончить A/B-тест. Короткий период тестирования не даст достаточной статистики — достоверность результатов может быть весьма условной.
Минимальный срок проведения A/Б-теста должен составлять 10-14 дней для микроконверсий и 30-45 дней для транзакционных конверсий.
5. Интерпретация результатов
Даже если вы добьетесь статистически значимых результатов, всё равно стоит вносить изменения на сайт постепенно. Это связано с тем, что перемены часто имеют неожиданные последствия. Например, версия Б может побудить посетителей совершать покупки чаще, но при этом снизится средняя сумма чека. Необходимо перепроверить статистику еще раз и лишь потом считать эксперимент законченным.
Инструкция по проведению A/B-тестирования в Google Optimize
Для начала подготовьте:
- аккаунт в Гугл;
- доступ к коду сайта или в Google Tag Manager;
- установленный на сайте счетчик Гугл Аналитикс;
- гипотезу для тестирования.
Теперь можно приступать к тестированию.
- Зайдите на сайт Google Optimize и кликните на кнопку «Start for free». В личном кабинете сервиса кликните на кнопку «Начать».
- В открывшемся меню заполните поле с названием эксперимента, добавьте адрес сайта, который собираетесь тестировать, выберите «Эксперимент А/Б» и нажмите на кнопку «Создать».
В Гугл Оптимизации также доступны другие методы оптимизации сайта или креативов.
- Многовариантный эксперимент. Помогает найти наиболее эффективное сочетание измененных элементов, например, цвет кнопки и ее расположение.
- Эксперимент с переадресацией. Помогает понять, какая страница работает лучше.
- Персонализация. Используется, если нужно сделать особое предложение определенной аудитории.
- Шаблон баннера. Сервис добавляет в верхнюю часть страниц сайта баннер с важной информацией, причем можно показывать его только определенной группе пользователей.
- Создайте варианты страниц для теста. В верхней части страницы будет показан весь процесс настройки теста по шагам.
Для начала тестирования кликните на кнопку «Добавить вариант», чтобы внести изменения на страницу согласно сформулированной гипотезе.
Назовите вариант так, чтобы вам было проще потом идентифицировать этот тест. Нажмите на кнопку «Готово».
По умолчанию трафик между вариантами распределяется поровну. Но при желании вы можете вручную установить любое соотношение, кликнув на процентах рядом с вариантом.
- Нажмите «Изменить» рядом с созданным вариантом, чтобы скорректировать его для эксперимента. После клика сервис предложит установить расширение Гугл Optimize, с помощью которого вы и будете менять внешний вид сайта.
Расширение позволяет изменить страницу полностью. Можно удалять любые визуальные элементы, менять шрифты, цвета, картинки. Можно даже изменить или вставить свой HTML, если вы в этом разбираетесь.
Для примера поменяем главную страницу интернет-магазина цветов. Как видно, на оригинальной странице значительную часть экрана занимает шапка, меню и текст с преимуществами.
Предположим, что человек с большей вероятностью задержится на сайте и приобретет букет, если сразу увидит ассортимент. Поэтому для теста уменьшим высоту меню и уберем весь лишний текст. Кликнем на кнопку «Сохранить», а затем на кнопку «Готово».
Теперь на первом же экране большинство посетителей увидит ту информацию, за которой они и пришли на сайт, — варианты букетов с ценами.
После сохранения варианта в настройках теста отобразится количество внесенных изменений.
- Выберите нужные страницы и аудиторию для эксперимента. В следующем разделе настроек можно указать таргетинг на страницы, если вы хотите запустить тест только на конкретных страницах сайта.
Переходим к выбору целевой аудитории. Если вы пропустите этот раздел, тогда под эксперимент попадут все посетители сайта или страницы.
Доступные варианты аудиторий:
- аудитории Гугл Аналитики;
- сегменты из вашего кабинета Google Ads;
- по UTM-метке, например, посетители из определенного источника — поиск, соцсети, рассылка;
- по типу устройства — десктопы, мобильные устройства;
- по поведению — новые или повторные визиты;
- по геоданным;
- по типу используемого браузера или ОС.
- Подключите счетчик Гугл Аналитики через кнопку «Установить связь с Google Аналитикой».
В открывшемся окне подгрузятся все счетчики, которые у вас есть. Выберите нужный аккаунт и отображение.
Чтобы вы могли добавить нужный счетчик в Оптимизацию, у вас должен быть к нему полный доступ.
Если система аналитики подключена корректно, на странице настроек появится информация о выбранном представлении.
- Выберите цели теста.
Сервис предлагает 3 стандартных цели, а также подгружает цели, настроенные в Гугл Аналитике. Можно выбрать одну основную и до трех дополнительных целей, чтобы получить больше информации для анализа по результатам эксперимента.
Для примера выберем только один из стандартных вариантов: длительность сеанса, отказы, просмотры страниц.Добавьте код Google Optimize на сайт и запустите эксперимент.
- Перейдите в настройки и скопируйте идентификатор вашего аккаунта в Оптимизации для GTM либо код Оптимизации, если хотите добавить его на сайт вручную.
- Нажмите «ОК», чтобы начать тестирование сразу.
Либо запланируйте тест на определенную дату или время по клику на знаке часов.
Максимально доступная длительность эксперимента — 90 дней. Если даты не будет, то эксперимент завершится автоматически после этого срока.
Осталось контролировать результаты и делать выводы о гипотезе. Итоги эксперимента будут отображаться на странице эксперимента на вкладке «Отчеты».
Примеры успешных А/Б-тестов из практики
Мы подобрали несколько удачных примеров применения А/Б-тестов в различных маркетинговых областях. Они помогут наглядно продемонстрировать пользу, которую тестирование может принести вашему бизнесу.
- 2000: инженеры Гугл провели А/Б-тест, чтобы ответить на вопрос: каким должно быть оптимальное количество результатов для отображения на странице результатов поисковой системы. С тех пор ответ — 10 результатов на страницу — остается неизменным.
- 2008: президентская кампания Барака Обамы провела тест лендингов предвыборной кампании. С его помощью была определена комбинация CTA и иллюстраций, которые дали на 40% больше кликов. Тест помог привлечь 4 млн дополнительных регистраций и 75 млн $ пожертвований на кампанию.
- 2009: сотрудник Microsoft создал тип ссылки, которая открывала страницы в новой вкладке. Во время А/Б-тестирования общее количество переходов на главную страницу MSN увеличилось на 8,9%, что дало большой рост вовлеченности пользователей. В тесте приняли участие более 900 000 пользователей из Великобритании. Исследование повторили с аналогичными результатами в США в 2020 году.
- 2009: Гугл провел А/Б-тест более 40 цветовых комбинаций для своей страницы результатов поиска. Компания остановилась на комбинации, которая приносит им дополнительные 200 млн $ ежегодно.
- 2017: А/Б-тестирование формата рекламных заголовков принесло 12% дохода поисковой системе Microsoft Bing. Это дополнительно дало им 100 млн $ в год.
- 2019: Microsoft сделала и протестировала альтернативные цвета для заголовков и подписей на своих страницах результатов поиска. Результаты были положительными, и компания повторила эксперимент на более крупной выборке из 32 миллионов пользователей. Когда были внесены изменения, выяснилось, что они дают дополнительный доход в размере 10 млн $ в год.
Заключение
А/Б-тестирование — мощный инструмент улучшения рекламной стратегии, сайта и других параметров. Но следует помнить о тонкостях этого метода.
- Для качественного и результативного А/Б-тестирования нужен достаточный объем данных. Клики по рекламе, показы, трафик сайта — вне зависимости от объекта исследования, выборка данных должна позволять делать выводы.
- Тесты подходят только для равнозначных задач. Например, при помощи А/Б-теста легко найти подходящий вариант рекламного креатива и нужный цвет кнопки «Купить». Однако для подбора дизайна целого сайта данный метод не подойдет, так как в этом процессе будет слишком много разноплановых задач.
- Тесты не ориентированы на многоканальные последовательности. В расчет берется только одно действие пользователя. Например, один клик, одна покупка, одно заполнение заявки и так далее.
- При проведении А/Б-теста можно случайно задеть соседние процессы продаж, и результат в них ухудшится.
При всех этих нюансах А/Б-тесты — самый верный способ получить информацию о том, что больше нравится пользователю. Если учесть все перечисленные нюансы, А/Б-тестирование поможет получить максимум пользы от текущей версии сайта или рекламы.
Частые вопросы
Что нужно сделать перед началом А/Б-тестирования в сервисе?
Какие критерии важны для сервиса по проведению А/Б-тестирования?
Какие дополнительные опции бывают у сервисов по А/Б-тестированию?
Подпишитесь на рассылку ROMI center:
Получайте советы и лайфхаки, дайджесты интересных статей и новости об интернет-маркетинге и веб-аналитике: