Сервисы для A/B тестирования

Хотите провести сплит-тест или A/B тестирование и сделать это без лишних усилий? В этом материале расскажем, какими бывают сервисы A/Б тестирования, что это такое и чем они могут помочь в работе маркетолога и веб-аналитика.

Статистика в A/B-тестировании

Большинство современных сервисов A/B-тестирования сделают все необходимые расчеты за вас. При этом необходимость вручную сравнивать полученную статистику отпадёт. Тем не менее, давайте напомним принципы, используемые в сплит-тестах. Это может помочь решить, какие инструменты лучше использовать и когда перепроверять данные.

А/Б тестирование или сплит-тесты — это проверка гипотезы и сравнение двух вариантов, А — исходного, и Б — измененного. С помощью сплит-тестов можно проверить, какой из них даст больше конверсий и благоприятнее повлияет на юзабилити сайта.

Читать также

A/B-тестирование: что это такое, для каких целей используется

Для развития бизнеса приходится постоянно генерировать различные идеи. Однако далеко не каждая из них способна увеличить конверсию, привлечь в Интернете новых клиентов или еще как-то …

Подробнее

Наиболее важным понятием для интерпретации результатов является статистическая значимость тестов. Это вероятность того, что разница между коэффициентами конверсии для версии A и Б не является случайностью.

Тест считается значимым, если он достигает заранее определенного уровня достоверности. 95% достоверности — стандартная настройка для A/B-теста. То есть в 5% случаев есть вероятность, что в результаты закралась ошибка и никакого реального эффекта не было. Чтобы свести недостатки расчетов к минимуму, в процессе используются различные математические модели, включая когортный анализ.

Выбранный сервис A/B тестирования покажет, когда тесты достигли статистической значимости на установленном уровне достоверности. Он также сообщит вероятность того, что у расчета есть недостатки и полученные результаты — некорректные.

Для уверенности вы можете дополнительно проверить значимость вашего сплит-теста, введя результаты в так называемый калькулятор A/Б тестов. Они бывают 2-х видов: калькулятор достоверности или статистической значимости и калькулятор размера выборки.

Читать также

Калькулятор A/B-тестов: для чего он нужен и как им пользоваться

Статья обновлена 21.06.2022 A/Б-тест или A/B — один из самых простых и надежных методов для статистической проверки гипотез. Эта методика появилась в начале ХХ века. …

Подробнее

Как подготовиться к A/B-тестированию 

В основе A/B-тестирования всегда лежит цель. Для большинства компаний целью является увеличение продаж и повышение коэффициента конверсии. Чтобы проверить, какая версия страницы, А или B, работает лучше всего, необходимо обеспечить: 

• Гипотезу — нужна сильная гипотеза о том, какие изменения улучшат исходную страницу.
• Исследование пользователей — чтобы создать гипотезу, нужны знания того, как люди взаимодействуют с контентом.
• Трафик — вы не сможете провести сплит-тестирование сайта без достаточной тестовой выборки.
• Инструмент тестирования — приложение или программное обеспечение для оптимизации, управления трафиком и сбора результатов.

Поиск удачной гипотезы, которая вызовет повышение конверсии или продаж, — это непросто. Чтобы ее подобрать, часто требуется значительное количество исследований.

Как провести A/B-тестирование за 5 шагов

1. Анализ воронки

Прежде чем начать задумываться о том, как тестировать, нужно выяснить, что нуждается в улучшении. Инструменты веб-аналитики, например, Google Analytics или Яндекс.Метрика, в числе прочего показывают, как посетители перемещаются по вашему сайту. Проведя анализ этих данных и обнаружив слабые места в своей воронке продаж, вы сможете определить, где необходимо внести изменения.

Читать также

Воронка продаж: 6 советов, как с ней работать

Когда пользователь сталкивается с вашими рекламными материалами, он проходит определенный путь до покупки. Воронка продаж — это аналитический инструмент, который визуализирует этот путь. Сегодня мы …

Подробнее

2. Создание и расстановка приоритетов для гипотез

Существует широкий спектр сервисов, которые помогают формировать гипотезы. Они варьируются от инструментов «тепловых карт», таких как Hotjar, CrazyEgg или Вебвизор от Яндекс.Метрика, до инструментов опросов, таких как Typeform. Хороший A/B тест должен иметь четко сформулированную гипотезу, основанную на реальных данных и тесно связанную с нужными KPI. Пример: если на Вебвизоре вы видите, что люди пролистывают кнопку «Заказать», значит, имеет смысл увеличить ее видимость.

3. Настройка теста

Важно точно указать настройки теста. Перед запуском нужно определиться с целью тестирования, на какие страницы направлять трафик и как будет производиться выборка пользователей для теста. Продвинутые инструменты A/B-тестирования используют алгоритм Multi-Armed Bandit — «многорукий бандит» — для разделения посетителей между тестируемыми страницами. Подробнее о нем мы расскажем ниже.

Также необходимо определиться с уровнем достоверности, которого мы планируем достичь. Напоминаем, что её уровень в 95% является «золотым» стандартом для проведения A/Б тестов.

4. Проведение теста

Есть одно общее правило того, как проводить А/Б тест: избегайте искажения результатов из-за особенностей трафика, который поступает на тестовые страницы. Использование платной рекламы для увеличения числа посетителей часто меняет качество потенциальных клиентов, создавая ложное представление о том, какая версия лучше. Поэтому идеально, если А/Б тест проводится на текущей аудитории сайта или же на аудитории, созданной на основе существующей. Точно так же лучше не редактировать сценарии или любые настройки теста во время его выполнения.

Конечно, это не относится к случаям, когда A/B тестирование проводится с целью выявления наиболее удачного рекламного креатива. В таком случае основной целевой аудиторией исследования как раз таки и являются пользователи, увидевшие вашу платную рекламу.

Одна из наиболее частых проблем, с которой сталкиваются новички, — это непонимание, когда закончить A/B тест. Короткий период тестирования не даст достаточной статистики, — достоверность результатов может быть весьма условной. Минимальный срок проведения A/Б теста должен составлять 10-14 дней.

5. Интерпретация результатов

Даже если вы добьетесь статистически значимых результатов, все равно стоит вносить изменения на сайт не сразу, а постепенно. Это связано с тем, что перемены часто имеют неожиданные последствия. Например, версия Б может побудить посетителей совершать покупки чаще, но при этом снизится средняя сумма чека. Необходимо перепроверить статистику еще раз прежде чем считать эксперимент законченным.

Возможности сервисов A/B-тестирования

Сегодня на рынке существует множество сервисов для A/B тестирования, не говоря уже о тех, которые предлагают тесты как часть комплексных услуг. Выбранное решение должно соответствовать масштабу бизнеса, отражать ваш предыдущий опыт работы с инструментами A/B тестирования и использовать имеющиеся ресурсы.

Но есть и другие факторы, которые следует учитывать. Перечислим обязательные и дополнительные функции такого ПО, а также возможные технические характеристики.

Обязательные функции

• Возможность A/B/n тестирования. Суть функции в сокращении теста. Например, при исследовании трёх версий сайта используется A/B/C тестирование. А во время проверки эффективности двух версий ресурса, пользователь проводит A/B тестирование сайта. Сервис же заменяет имеющееся количество множеством — «N». 
• «Умный» редактор. Некоторые инструменты A/B-тестирования имеют встроенные веб-редакторы для создания веб-страниц. Это похоже на интерфейс редактирования в CMS WordPress или Тильда. Такая опция полезна для начинающих «тестировщиков», особенно если работа с IT-отделом в компании затруднена.
• Режим «автопилота» — если курс коэффициента конверсии внезапно изменится, нужно быстро отреагировать на это. Функция «автопилота» направляет трафик на наиболее эффективные в ходе тестирования страницы.

Дополнительные функции

• «Многорукий бандит» — алгоритм позволяет «автопилоту» завершить тест с максимальной достоверностью. Он отправляет больше трафика на страницу, которая показывает наибольшую конверсию в ходе тестирования. Некоторые инструменты A/B-тестирования распределяют трафик равномерно между вариантами A и B. Это может означать направление половины трафика сайта на более «слабую» версию, что может стоить крупным компаниям огромных денег. «Многорукий бандит» позволяет этого избежать.
• Библиотека идей для A/B тестирования. В какой-то момент идеи заканчиваются у каждого. Библиотека идей помогает найти вдохновение в опыте других.
• Многовариантное тестирование, MultiVariate Testing, MVT. Многовариантные или мультимерные тесты позволяют выполнять тестирование одновременно на нескольких независимых элементах страницы. Существуют разные способы их проведения. Вы можете показывать пользователям все возможные комбинации элементов страницы или только их часть. Или настроить более редкое отображение «проигрышных» комбинаций.

Читать также

A/B-тестирование в рекламе: Google, Яндекс и Facebook

Думаете, как улучшить результаты своих рекламных кампаний? Попробуйте провести сплит-тест! За последние 10 лет A/Б-тестирование стало стандартной отраслевой практикой. Согласно исследованию Econsultancy, 67% предприятий используют …

Подробнее

Технические характеристики

• На стороне клиента. Такие инструменты A/B тестирования работают, напрямую передавая параметры отображаемой страницы в браузер пользователя. Это делается путем «пометки» страницы несколькими строками кода JavaScript. Когда страница загружается, JavaScript связывается с платформой А/Б тестов, которая и «сообщает» браузеру, какой контент отображать. Платформа также отслеживает количество конверсий.
• На стороне сервера. Такие сервисы запускаются на стороне страницы. Страница при этом компилируется сервером и представляется браузеру в готовом виде. Точно так же, как некоторые программы для ПК доступны только для Windows или Mac, некоторые серверные программы доступны только для определенных серверов — например, для PHP.

Обзор сервисов для А/Б тестирования

Мы рассмотрим самые популярные инструменты, включая лидеров рынка Optimizely, VWO и Google Optimize, оценим их по характеристикам, удобству использования и цене.

Convertize

Convertize — инструмент AB-тестирования, разработанный для веб-агентств и компаний среднего размера. Программное обеспечение позволяет любому маркетологу протестировать свои идеи без участия веб-мастера. Самые сложные части теста, такие как распределение трафика, автоматизированы.

Стоимость Convertize основана на трафике, так что все тарифные планы включают полный функционал. 

Optimizely

Optimizely — комплексное решение, предлагающее варианты A/B тестирования и настройки. Это самая старая и известная платформа и одновременно самый дорогой вариант.

VWO

VWO или Visual Website Optimizer — еще один популярный сервис A/B тестирования, ориентированный на графику и дизайн.

Тарифы для VWO основаны как на характеристиках тестов, так и на трафике. Самые бюджетные варианты тарифных планов включают всего 10 000 посетителей в месяц.

AB Tasty

AB Tasty — известная площадка на рынке. Она предлагает широкий спектр функций для понимания аудитории и персонализации предложений. Этот инструмент A/B-тестирования изначально был разработан для больших компаний. Компания не дает стоимость продукта на сайте. Что указывает на акцентирование внимания на корпоративных клиентов.

Google Optimize

Google Optimize — это инструмент Google для A/B тестирования, является частью Google Marketing Platform. Он подключается к системе аналитики Google Analytics, которая требуется для использования программного обеспечения. 

Есть 2 варианта решения — для Google Optimize требуется плагин браузера Chrome, а Optimize 360 предоставляет платную услугу, которая может тестировать до 10 вариантов страницы.

Kameleoon

Kameleoon — еще один удобный инструмент для A/B тестирования. Это дорогой вариант по цене более 500$ в месяц. Компания уделяет особое внимание персонализации тестирования с помощью технологий искусственного интеллекта. Поэтому данное решение — хороший вариант для предприятий e-commerce с большим количеством клиентов.

Convert

Convert — один из мощных инструментов A/B-тестирования, который позиционирует себя как альтернатива Optimizely. Ценовая политика ориентирована на крупный бизнес. Самый дешевый план стоит около 599$ в месяц, оплачивается ежегодно.

Тарифы определяются на основе трафика и функций, поэтому трудно оценить точную стоимость каждой опции. 

Omniconvert

Omniconvert — сервис, который ориентирован на малые и средние предприятия. Инструмент A/B тестирования Explore предлагает функции локальной сегментации и персонализации. 

Бесплатный план позволяет тестировать до 5000 просмотров. Он не является приемлемой альтернативой платному, так как с его помощью практически невозможно достичь статистически значительных результатов с таким объемом трафика.

Adobe Target

Adobe Target — инструмент Adobe для A/B тестирования, который используют многие компании по всему миру. Тарифные планы дорогие. Однако для тех, кто может оправдать такие большие маркетинговые затраты, сервис предлагает масштабное и мощное тестирование.

Freshworks CRM

Компания Freshworks купила сервис Zarget в 2017 году и переименовала его во Freshmarketer. А затем сделала частью набора маркетинговых инструментов, предлагаемых Freshworks. Инструмент А/Б тестирования входит в состав обширного пакета оптимизации коэффициента конверсии Freshworks CRM. Он включает функции теплового «картографирования» пути клиента, персонализации и редактирования страниц. Сервис предлагает отличный бесплатный вариант А/Б тестирования — до 10 000 посетителей в месяц.

Accenture Testing Platform

Платформа Accenture Testing Platform, запущенная в 2016 году, представляет собой набор цифровых систем тестирования. Сервис включает в себя функцию A/B-тестов. Это, пожалуй, самый дорогой вариант в нашем списке. Только установка и настройка стоит более 25000$. Однако предоставляемая услуга является комплексной и выходит далеко за рамки обычного тестирования страниц сайта. Отлично подойдет для тестирования собственного ПО и других масштабных проектов.

OpenText OptiMost

OpenText OptiMost — универсальная платформа, которая включает управление клиентским опытом и маркетинг, а также возможности А/Б тестирования. Решение подходит для более крупного бизнеса, нежели для малых или средних предприятий.

ClickThroo

ClickThroo — простое решение для А/Б тестирования лендингов. Оно включает в себя инструмент создания и тестирования целевых страниц, готовые шаблоны таких страниц и расширенную аналитику. Сервис сопровождается консультационными услугами экспертов, поэтому этот пакет подойдет и для корпоративных клиентов.

Conductrics

Conductrics строится вокруг концепции версий. Платформа обеспечивает как персонализацию, так и A/B тестирование. Это дает полный контроль над тем, кто и что видит на вашем сайте. Существует удобный конструктор страниц для маркетологов, не имеющих опыта программирования, — Conductrics Express, а также решение API для разработчиков.

Bound 360

Bound 360 — удобная платформа среднего уровня. К сожалению, решение не предлагает многовариантное тестирование.

HiConversion

HiConversion основан на принципе мобильной оптимизации. Он заключается в том, что каждый член сообщества делится результатами своих тестов, чтобы помочь в создании общих шаблонов. Это дополняется полными возможностями мультивариантного тестирования и оптимизацией данных в реальном времени.

Oracle Maxymiser

Maxymiser от Oracle — еще один вариант для компаний, которым нужны мощные возможности А/Б тестирования. Если другие решения, как правило, включают консультационные услуги в пакеты опций, Maxymiser — инструмент для «самообслуживания». Чтобы в полной мере использовать API и функции отслеживания, потребуются некоторые технические знания. Это решение, созданное для отделов маркетинга с собственной IT-поддержкой.

Monetate

Monetate входит в группу программного обеспечения для персонализации Kibo. Платформа основана на принципе оптимизации клиентского опыта и включает в себя А/Б тестирование, персонализацию и сегментацию.

SiteGainer

SiteGainer — традиционная платформа для A/B тестирования, которая поставляется с такими инструментами, как тепловые карты, всплывающие окна, опросы на странице и аналитика. Этот впечатляющий набор функций поддерживает международная команда опытных специалистов.

SiteSpect

SiteSpect — многофункциональное решение, разработанное для больших и посещаемых сайтов. Каждый из пакетов включает в себя анализ окупаемости инвестиций и обучение вашей маркетинговой команды. SiteSpect описывает себя как самую быструю платформу для оптимизации, что важно для тех, кто ориентирован на оперативные результаты и удобство пользователей.

SiteTuners

SiteTuners — агентство, специализирующееся на маркетинговом консалтинге. Цена его решения зависит от количества выполненных вами тестов. Вариант подойдет компании среднего размера без собственного отдела маркетинга.

Unbounce

Как и Clickthroo, Unbounce — решение для А/Б тестирования лендингов. Это один из самых известных инструментов для создания и оптимизации целевых страниц. Он включает в себя ряд плагинов для всплывающих окон и закрепленных сообщений. В отличие от многих других инструментов из нашего списка, Unbounce предоставляет доступное решение как для малого, так и для крупного бизнеса.

Webtrends Optimize

Webtrends Optimize поддерживает как A/B/n, так и многовариантное тестирование по каждому из маркетинговых каналов. Платформу можно использовать для самостоятельной работы, для работы с поддержкой или как их гибрид. Так что вы можете точно выбрать объем консультаций, который потребуется вашей команде.

Zoho Pagesense

Этот инструмент от Zoho — доступный и удобный способ выполнять А/Б тестирование сайтов. Он включает все основные интеграции и предлагает широкий спектр функций. Платформа не поддерживает многовариантные тесты. Однако это хороший вариант для малых и средних предприятий, у которых нет своего трафика, необходимого для такого рода тестов.

Существует также множество прикладных решений для А/Б тестирования, которые работают со сторонними сервисами или существуют в виде надстроек к основному функционалу системы. Пример тому СMS Тильда — tilda.cc, работающая через Google Optimize, CMS Bitrix, у которой есть собственный модуль для А/Б тестов. Или сервис Roistat c отдельной опцией сплит-тестирования юзабилити сайта. Собственные сервисы предлагают также платформы для размещения рекламы Google Ads и Яндекс.Директ, которые включают эту опцию в основной функционал для тестирования разных вариантов объявлений.

Есть и другая возможность для оперативной проверки вносимых изменений в каждой рекламной кампании — это интеграция сквозной аналитики на основе коннекторов. Он подойдёт в случаях, когда времени на длительные проверки нет, а увидеть и оценить результаты нужно быстро. Подключите все рекламные кабинеты, CRM и даже коллтрекинг к единому интерфейсу. Таким образом вы увидите, что принесло больше всего клиентов, а какие объявления просто слили бюджет.

Читать также

Настройка сквозной аналитики от А до Я

Сквозная аналитика — бесценный инструмент для маркетолога. Она позволяет увидеть, какие рекламные площадки принесли заявки и продажи, а какие только сливают рекламный бюджет. Эти знания …

Подробнее

Примеры успешных А/Б-тестов из практики

Мы подобрали несколько удачных примеров применения А/Б-тестов в различных маркетинговых областях. Они помогут более наглядно продемонстрировать пользу, которую тестирование может принести вашему бизнесу. 

• 2000: инженеры Google провели А/Б-тест, чтобы ответить на вопрос: каким должно быть оптимальное количество результатов для отображения на странице результатов поисковой системы. С тех пор ответ — 10 результатов на страницу — остается неизменным.
• 2008: президентская кампания Барака Обамы провела тест лендингов предвыборной кампании. С его помощью была определена комбинация CTA и иллюстраций, которые дали на 40% больше кликов. Тест помог привлечь 4 миллиона дополнительных регистраций и 75 млн $ пожертвований на кампанию.
• 2009: сотрудник Microsoft создал тип ссылки, которая открывала страницы в новой вкладке. Во время А/Б-тестирования общее количество переходов на главную страницу MSN увеличилось на 8,9%, что дало большой рост вовлеченности пользователей. В тесте приняли участие более 900 000 пользователей из Великобритании. Исследование повторили с аналогичными результатами в США в 2020 году.
• 2009: Google провел А/Б-тест более 40 цветовых комбинаций для своей страницы результатов поиска. Компания остановилась на комбинации, которая приносит им дополнительные 200 млн $ ежегодно.
• 2017: А/Б-тестирование формата рекламных заголовков принесло 12% дополнительного дохода поисковой системе Microsoft Bing. Что дополнительно дало им 100 млн $ в год.
• 2019: Microsoft сделала и протестировала альтернативные цвета для заголовков и подписей на своих страницах результатов поиска. Результаты были положительными, и компания повторила эксперимент на более крупной выборке из 32 миллионов пользователей. Когда были внесены изменения, выяснилось, что они дают дополнительный доход в размере 10 млн $ в год.

Подводные камни А/Б тестирования

Будет несправедливо не упомянуть и о деталях, подсвечивающих этот метод исследования не в лучшем свете. Без нюансов применения редко удаётся обойтись, если решение касается увеличения прибыли компании. Однако лучше знать о них заранее и сформировать реальную картину мира и ожидания от результата.

Для проведения качественного А/Б тестирования необходимо обработать большое количество данных. Если такое исследование захочет провести небольшой стартап, то ему может не хватить информации для анализа. Возьмём в качестве примера два объекта, которым нужно принять решение по итогам теста: 

1. крупный интернет-магазин Ozon с посещаемостью более 150 тыс. уникальных посетителей в месяц;
2. сервис доставки цветов, открывшийся в прошлом месяце с посещаемостью 200 уникальных посетителей в месяц. 

Ozon имеет большой трафик, и с такими показателями можно сделать вывод о результативности того или иного варианта дизайна ресурса всего за пару дней. 

Но что делать только что открытому цветочному магазину? 200 посетителей в месяц он пока получает исключительно за счет контекстной рекламы. Seo-оптимизация сайта находится в работе, а дополнительные рекламные каналы ещё не изучены. Применять А/Б тестирование сайта в данном случае просто нелогично. С таким объемом трафика выводы получится сделать только через несколько месяцев. Куда результативнее при таких вводных использовать А/Б тесты для рекламных креативов. 

Читать также

Креативы для таргетированной рекламы: простые техники создания

Маркетологи борются за внимание пользователей в соцсетях: настраивают таргет, предлагают скидки, пишут цепкие офферы с яркими кликбейтами. Но всё это работает только в связке с …

Подробнее

Однако и для сайтов с большими объемами трафика А/Б тесты не всегда могут стать панацеей. Некоторые типы бизнеса решают сразу ряд пользовательских запросов. Например, на сайте Ozon пользователь может и читать отзывы, и покупать товары, и оформлять подарочные сертификаты. А типичный А/Б тест чаще всего затрагивает только одно из действий пользователя. Таким образом, крупным ритейлерам и прочим ресурсам с большим трафиком необходимо предусмотреть все возможные сценарии и разработать под них отдельные тестирования. 

А ещё увеличение конверсии за счёт изменения какого-либо показателя не всегда однозначно работает. Например, вы поменяли место расположения кнопок разделов. Теперь товары чаще добавляют в корзину. А пользователи корзины теперь путаются в разделах и реже завершают заказ.

Резюмируем ограничения А/Б тестирования:

• Для качественного и результативного А/Б тестирования нужно много данных. Клики по рекламе, показы, трафик сайта — вне зависимости от объекта исследования, выборка данных должна позволять делать выводы.
• Тесты подходят только для равнозначных задач. Например, при помощи А/Б теста легко найти подходящий вариант рекламного креатива и нужный цвет кнопки «Купить». Однако для подбора дизайна целого сайта данный метод не подойдёт, так как в данном процессе будет слишком много разноплановых задач.
• Тесты не ориентированы на многоканальные последовательности. В расчёт берётся только одно действие пользователя. Например, один клик, одна покупка, одно заполнение заявки и так далее.
• При проведении А/Б теста можно случайно задеть соседние процессы продаж и результат в них ухудшится. 

При всех этих нюансах А/Б тесты — самый верный способ получить информацию о том, что больше нравится пользователю. 

Если учесть все перечисленные нюансы, А/Б тестирование поможет получить максимум пользы от текущей версии сайта или рекламы.