Сервисы для A/B тестирования

Статья обновлена 28.08.2023

Для сравнения различных вариантов лендингов или креативов маркетологи используют A/B-тестирование, или сплит-тест. В материале расскажем, как проводить такое тестирование и какие сервисы помогут упростить этот процесс. 

Статистика в A/B-тестировании

Современные сервисы A/B-тестирования выполняют процесс почти автоматически — вам не придется вручную сравнивать полученную статистику. Но для начала всё равно вспомним принципы, используемые в сплит-тестах. Это поможет выбрать подходящий сервис и грамотно интерпретировать полученный результат.

А/Б-тестирование, или сплит-тесты, — это проверка гипотезы и сравнение двух вариантов: А — исходного, Б — измененного. С помощью сплит-тестов можно проверить, какой из них дает больше конверсий и положительно влияет на юзабилити сайта.

Важное понятие для интерпретации результатов — статистическая значимость тестов. Это вероятность того, что разница между коэффициентами конверсии для версии A и Б не является случайностью.

Тест считается значимым, если он достигает заранее определенного уровня достоверности. 95% достоверности — стандартная настройка для A/B-теста. 

То есть в 5% случаев есть вероятность, что в результаты закралась ошибка. Чтобы свести недостатки расчетов к минимуму, маркетологи повышают уровень достоверности теста: проверяют гипотезу на большем объеме трафика или конверсий. Чаще всего достаточно опираться на уровень достоверности 95%, который считается приемлемым.

Выбранный сервис A/B-тестирования покажет, когда тесты достигли статистической значимости на установленном уровне достоверности. Он также сообщит вероятность того, что у расчета есть недостатки, а полученные результаты — некорректные.

Читать также

A/B-тестирование: что это такое, для каких целей используется

Для развития бизнеса приходится постоянно генерировать различные идеи. Однако далеко не каждая из них способна увеличить конверсию, привлечь в Интернете новых клиентов …

Еще

Обзор сервисов для А/Б-тестирования

Теперь рассмотрим самые популярные инструменты, включая лидеров рынка Google Optimize, Connvertize и VWO, а также другие более бюджетные по цене сервисы, доступные в России без VPN в 2023 году. Затем будет подробная инструкция по проведению A/B-тестирования.

Google Optimize

Google Optimize — инструмент A/B-тестирования от Гугла, является частью Marketing Platform. Он подключается к системе аналитики Google Analytics и без нее не работает 

Есть 2 варианта использования:

1) для Гугл Optimize требуется плагин браузера Chrome;
2) Optimize 360 предоставляет платную услугу, которая может тестировать до 10 вариантов страницы, визуального или другого контента, а также проводить до 100 тестов одновременно.

Convertize

Convertize — инструмент A/B-тестирования, разработанный для веб-агентств и компаний среднего размера. Программное обеспечение позволяет любому маркетологу тестировать разные идеи без участия веб-мастера. Самые сложные части теста, такие как распределение трафика, автоматизированы.

Цена Convertize зависит от трафика вашего сайта, все тарифные планы включают полный функционал. 

VWO

VWO, Visual Website Optimizer — еще один популярный сервис A/B-тестирования, ориентированный на графику и дизайн, то есть визуальный контент разных типов.

Цена за VWO основана как на характеристиках тестов, так и на трафике. Самые бюджетные варианты тарифных планов включают всего 10 000 посетителей ежемесячно.

Altcraft Platform

Altcraft — платформа автоматизации многих маркетинговых задач, в том числе A/B-тестирования. Это инструмент для бизнеса различных масштабов — от стартапов до корпораций. 

SiteTuners

Site Tuners — агентство, специализирующееся на маркетинговом консалтинге. Цена сервиса A/B-тестирования зависит от количества выполненных вами тестов. Вариант подойдет компании среднего размера без собственного отдела маркетинга.

Zoho Pagesense

Этот инструмент от Zoho — доступный и удобный способ выполнять А/Б-тестирование сайтов. Он включает все основные интеграции и предлагает широкий спектр разных функций. Платформа не поддерживает многовариантные тесты. Однако это хороший вариант для малого и среднего бизнеса, у которого нет достаточного трафика для такого рода тестов.

Freshworks CRM

Компания Freshworks купила сервис Zarget в 2017 году и переименовала его во Freshmarketer. А затем сделала частью своего набора маркетинговых инструментов. Инструмент А/Б-тестирования входит в состав обширного пакета оптимизации коэффициента конверсии Freshworks CRM. Он включает функции теплового «картографирования» пути клиента, персонализации и редактирования страниц. Сервис предлагает бесплатный вариант А/Б-тестирования — до 10 000 посетителей ежемесячно.

Bound 360

Bound 360 — удобная платформа с интуитивно понятным интерфейсом. К сожалению, решение не предлагает возможности тестировать многовариантно.

Unbounce

Как и Clickthroo, Unbounce — решение для А/Б-тестирования лендингов. Это один из самых известных инструментов для создания и оптимизации целевых страниц. Он включает в себя ряд разных плагинов для всплывающих окон и закрепленных сообщений. В отличие от многих других инструментов из нашего списка, Unbounce предоставляет доступное решение как для малого, так и для крупного бизнеса.

Simplify

Simplify — универсальная платформа с девизом «Подойдет всем». Здесь можно не только проводить A/B-тестирование, но и опираться на дополнительные инструменты: визуальные тепловые карты, всплывающие окна, опросы на странице и аналитика. Этот набор функций поддерживает международная команда опытных специалистов.

Conductrics

Conductrics строится вокруг концепции версий. Платформа обеспечивает как персонализацию, так и A/B-тестирование. Это дает полный контроль над тем, кто и что видит на вашем сайте в плане визуального контента. Существует удобный конструктор страниц для маркетологов, не имеющих опыта программирования, — Conductrics Express, а также решение API для разработчиков.

Monetate

Monetate входит в группу программного обеспечения для персонализации Kibo. Платформа основана на принципе оптимизации клиентского опыта и включает в себя А/Б-тестирование, персонализацию и сегментацию.

Omniconvert

Omniconvert — сервис, который ориентирован на малые и средние предприятия. Инструмент A/B-тестирования Explore предлагает функции локальной сегментации и персонализации. 

Бесплатный план позволяет тестировать до 5000 просмотров. Он не является приемлемой альтернативой платному тарифу, так как с его помощью практически невозможно достичь статистически значительных результатов с таким объемом трафика.

Существует также множество прикладных решений для А/Б-тестирования, которые работают со сторонними сервисами или существуют в виде надстроек к основному функционалу системы. Пример тому — CMS Тильда, tilda.cc, работающая через Гугл Optimize, CMS Bitrix, у которой есть собственный модуль для А/Б-тестов. Или сервис Roistat c отдельной опцией сплит-тестирования юзабилити сайта. Собственные сервисы предлагают также платформы для размещения рекламы Яндекс.Директ, где эта опцию включается в основной функционал для тестирования разных вариантов объявлений.

Есть и другая возможность для оперативной проверки вносимых изменений в каждой рекламной кампании — это интеграция сквозной аналитики на основе коннекторов. Инструмент подойдет в случаях, когда времени на длительные проверки нет, а увидеть и оценить результаты нужно быстро. Подключите все рекламные кабинеты, CRM и даже коллтрекинг к единому интерфейсу. Так вы увидите, что принесло больше всего клиентов, а какие объявления просто слили бюджет. 

Читать также

Сквозная аналитика: как она поможет вам зарабатывать больше?

Во многих компаниях до сих пор есть разрыв между тем, как работают диджитал-маркетинг и продажи. Первое подразделение занимается привлечением потенциальных клиентов на …

Еще

Как подготовиться к A/B-тестированию 

В основе A/B-тестирования всегда лежит цель. Для большинства компаний целью является увеличение продаж и повышение коэффициента конверсии. Чтобы проверить, какая версия страницы работает лучше — А или B — необходимо обеспечить: 

• гипотезу — конкретное предположение, какие изменения улучшат исходную страницу;
• исследование пользователей — знание того, как люди взаимодействуют с контентом;
• трафик — вы не сможете провести сплит-тестирование сайта без достаточной тестовой выборки;
• инструмент тестирования — приложение или программное обеспечение для оптимизации, управления трафиком и сбора результатов.

Как провести A/B-тестирование за 5 шагов

1. Анализ воронки

Прежде всего нужно выяснить, что нуждается в улучшении. Инструменты веб-аналитики, например, Гугл Аналитикс или Яндекс.Метрика, в числе прочего показывают, как посетители перемещаются по вашему сайту. Проведя анализ этих данных и обнаружив слабые места в своей воронке продаж, вы сможете определить, где необходимо внести изменения.

2. Создание и расстановка приоритетов для гипотез

Есть множество сервисов, которые помогают формировать гипотезы. Они варьируются от визуальных инструментов «тепловых карт», таких как Вебвизор от Яндекс.Метрика, до инструментов опросов, таких как Typeform. 

Хороший A/B-тест должен иметь четко сформулированную гипотезу, основанную на реальных данных и тесно связанную с нужными KPI. Пример: если Вебвизор показывает, что люди долго ищут кнопку «Заказать», значит, следует сделать ее более заметной или задать визуальное выделение.

3. Настройка теста

Важно точно указать настройки теста. Перед запуском определите, какова цель тестирования, на какие страницы направлять трафик и как будет производиться выборка пользователей для теста. Продвинутые инструменты A/B-тестирования используют алгоритм Multi-Armed Bandit — «многорукий бандит» — для разделения посетителей между тестируемыми страницами.

Также необходимо определиться с уровнем достоверности, которого вы планируете достичь. Напоминаем, что ее уровень в 95% — привычный стандарт для проведения A/Б-тестов.

Читать также

Калькулятор A/B-тестов: для чего он нужен и как им пользоваться

A/Б-тест, или эксперимент A/B, — один из самых простых и надежных методов для статистической проверки гипотез. Эта методика появилась еще в начале ХХ …

Еще

4. Проведение теста

Есть одно общее правило, как проводить А/Б-тест: избегайте искажения результатов из-за особенностей трафика, который поступает на тестовые страницы. Использование любых новых каналов трафика для привлечения дополнительного трафика часто меняет поведение потенциальных клиентов, создавая ложное представление о том, какая версия веб-ресурса лучше. Поэтому А/Б-тест стоит проводить на текущей аудитории сайта или же на аудитории, созданной на основе существующей. Также не стоит редактировать сценарии или любые настройки теста во время его выполнения.

Конечно, это не относится к случаям, когда тестирование должно выявить наиболее удачный рекламный креатив или визуальный контент. В таком случае основной целевой аудиторией исследования как раз являются пользователи, увидевшие ваши разные объявления.

Частая проблема новичков — непонимание, когда закончить A/B-тест. Короткий период тестирования не даст достаточной статистики — достоверность результатов может быть весьма условной. 

Минимальный срок проведения A/Б-теста должен составлять 10-14 дней для микроконверсий и 30-45 дней для транзакционных конверсий.

5. Интерпретация результатов

Даже если вы добьетесь статистически значимых результатов, всё равно стоит вносить изменения на сайт постепенно. Это связано с тем, что перемены часто имеют неожиданные последствия. Например, версия Б может побудить посетителей совершать покупки чаще, но при этом снизится средняя сумма чека. Необходимо перепроверить статистику еще раз и лишь потом считать эксперимент законченным.

Читать также

Как оптимизировать рекламу с помощью сплит-тестирования

Сплит-тестирование или A/B-тестирование — это метод проведения экспериментов с целью улучшения показателей веб-сайта таких, как клики, регистрации или покупки. Иными словами: определенной аудитории показывают две …

Еще

Инструкция по проведению A/B-тестирования в Google Optimize

Для начала подготовьте:

• аккаунт в Гугл;
• доступ к коду сайта или в Google Tag Manager;
• установленный на сайте счетчик Гугл Аналитикс;
• гипотезу для тестирования.

Теперь можно приступать к тестированию.

1. Зайдите на сайт Google Optimize и кликните на кнопку «Start for free». В личном кабинете сервиса кликните на кнопку «Начать».

2. В открывшемся меню заполните поле с названием эксперимента, добавьте адрес сайта, который собираетесь тестировать, выберите «Эксперимент А/Б» и нажмите на кнопку «Создать».

В Гугл Оптимизации также доступны другие методы оптимизации сайта или креативов.

• Многовариантный эксперимент. Помогает найти наиболее эффективное сочетание измененных элементов, например, цвет кнопки и ее расположение.
• Эксперимент с переадресацией. Помогает понять, какая страница работает лучше. 
• Персонализация. Используется, если нужно сделать особое предложение определенной аудитории. 
• Шаблон баннера. Сервис добавляет в верхнюю часть страниц сайта баннер с важной информацией, причем можно показывать его только определенной группе пользователей.

3. Создайте варианты страниц для теста. В верхней части страницы будет показан весь процесс настройки теста по шагам.

Для начала тестирования кликните на кнопку «Добавить вариант», чтобы внести изменения на страницу согласно сформулированной гипотезе.

Назовите вариант так, чтобы вам было проще потом идентифицировать этот тест. Нажмите на кнопку «Готово».

По умолчанию трафик между вариантами распределяется поровну. Но при желании вы можете вручную установить любое соотношение, кликнув на процентах рядом с вариантом.

4. Нажмите «Изменить» рядом с созданным вариантом, чтобы скорректировать его для эксперимента. После клика сервис предложит установить расширение Гугл Optimize, с помощью которого вы и будете менять внешний вид сайта.

Расширение позволяет изменить страницу полностью. Можно удалять любые визуальные элементы, менять шрифты, цвета, картинки. Можно даже изменить или вставить свой HTML, если вы в этом разбираетесь.

Для примера поменяем главную страницу интернет-магазина цветов. Как видно, на оригинальной странице значительную часть экрана занимает шапка, меню и текст с преимуществами.

Предположим, что человек с большей вероятностью задержится на сайте и приобретет букет, если сразу увидит ассортимент. Поэтому для теста уменьшим высоту меню и уберем весь лишний текст. Кликнем на кнопку «Сохранить», а затем на кнопку «Готово».

Теперь на первом же экране большинство посетителей увидит ту информацию, за которой они и пришли на сайт, — варианты букетов с ценами. 

После сохранения варианта в настройках теста отобразится количество внесенных изменений.

5. Выберите нужные страницы и аудиторию для эксперимента. В следующем разделе настроек можно указать таргетинг на страницы, если вы хотите запустить тест только на конкретных страницах сайта.

Переходим к выбору целевой аудитории. Если вы пропустите этот раздел, тогда под эксперимент попадут все посетители сайта или страницы.

Доступные варианты аудиторий:

• аудитории Гугл Аналитики;
• сегменты из вашего кабинета Google Ads;
• по UTM-метке, например, посетители из определенного источника — поиск, соцсети, рассылка;
• по типу устройства — десктопы, мобильные устройства;
• по поведению — новые или повторные визиты;
• по геоданным;
• по типу используемого браузера или ОС.

6. Подключите счетчик Гугл Аналитики через кнопку «Установить связь с Google Аналитикой».

В открывшемся окне подгрузятся все счетчики, которые у вас есть. Выберите нужный аккаунт и отображение.

Чтобы вы могли добавить нужный счетчик в Оптимизацию, у вас должен быть к нему полный доступ.

Если система аналитики подключена корректно, на странице настроек появится информация о выбранном представлении.

7. Выберите цели теста.

Сервис предлагает 3 стандартных цели, а также подгружает цели, настроенные в Гугл Аналитике. Можно выбрать одну основную и до трех дополнительных целей, чтобы получить больше информации для анализа по результатам эксперимента.

Для примера выберем только один из стандартных вариантов: длительность сеанса, отказы, просмотры страниц.Добавьте код Google Optimize на сайт и запустите эксперимент.

8. Перейдите в настройки и скопируйте идентификатор вашего аккаунта в Оптимизации для GTM либо код Оптимизации, если хотите добавить его на сайт вручную.

9. Нажмите «ОК», чтобы начать тестирование сразу.

Либо запланируйте тест на определенную дату или время по клику на знаке часов.

Максимально доступная длительность эксперимента — 90 дней. Если даты не будет, то эксперимент завершится автоматически после этого срока.

Осталось контролировать результаты и делать выводы о гипотезе. Итоги эксперимента будут отображаться на странице эксперимента на вкладке «Отчеты».

Читать также

Подробный гайд по А/Б тестированию для e-commerce сайтов

Вы уже наверняка что-то слышали об эффективности A/Б тестирования. Про это написано немало статей. Возможно, даже применяли эту тактику для постов в …

Еще

Примеры успешных А/Б-тестов из практики

Мы подобрали несколько удачных примеров применения А/Б-тестов в различных маркетинговых областях. Они помогут наглядно продемонстрировать пользу, которую тестирование может принести вашему бизнесу. 

• 2000: инженеры Гугл провели А/Б-тест, чтобы ответить на вопрос: каким должно быть оптимальное количество результатов для отображения на странице результатов поисковой системы. С тех пор ответ — 10 результатов на страницу — остается неизменным.
• 2008: президентская кампания Барака Обамы провела тест лендингов предвыборной кампании. С его помощью была определена комбинация CTA и иллюстраций, которые дали на 40% больше кликов. Тест помог привлечь 4 млн дополнительных регистраций и 75 млн $ пожертвований на кампанию.
• 2009: сотрудник Microsoft создал тип ссылки, которая открывала страницы в новой вкладке. Во время А/Б-тестирования общее количество переходов на главную страницу MSN увеличилось на 8,9%, что дало большой рост вовлеченности пользователей. В тесте приняли участие более 900 000 пользователей из Великобритании. Исследование повторили с аналогичными результатами в США в 2020 году.
• 2009: Гугл провел А/Б-тест более 40 цветовых комбинаций для своей страницы результатов поиска. Компания остановилась на комбинации, которая приносит им дополнительные 200 млн $ ежегодно.
• 2017: А/Б-тестирование формата рекламных заголовков принесло 12% дохода поисковой системе Microsoft Bing. Это дополнительно дало им 100 млн $ в год.
• 2019: Microsoft сделала и протестировала альтернативные цвета для заголовков и подписей на своих страницах результатов поиска. Результаты были положительными, и компания повторила эксперимент на более крупной выборке из 32 миллионов пользователей. Когда были внесены изменения, выяснилось, что они дают дополнительный доход в размере 10 млн $ в год.

Заключение

А/Б-тестирование — мощный инструмент улучшения рекламной стратегии, сайта и других параметров. Но следует помнить о тонкостях этого метода.

• Для качественного и результативного А/Б-тестирования нужен достаточный объем данных. Клики по рекламе, показы, трафик сайта — вне зависимости от объекта исследования, выборка данных должна позволять делать выводы.
• Тесты подходят только для равнозначных задач. Например, при помощи А/Б-теста легко найти подходящий вариант рекламного креатива и нужный цвет кнопки «Купить». Однако для подбора дизайна целого сайта данный метод не подойдет, так как в этом процессе будет слишком много разноплановых задач.
• Тесты не ориентированы на многоканальные последовательности. В расчет берется только одно действие пользователя. Например, один клик, одна покупка, одно заполнение заявки и так далее.
• При проведении А/Б-теста можно случайно задеть соседние процессы продаж, и результат в них ухудшится. 

При всех этих нюансах А/Б-тесты — самый верный способ получить информацию о том, что больше нравится пользователю. Если учесть все перечисленные нюансы, А/Б-тестирование поможет получить максимум пользы от текущей версии сайта или рекламы.