Сервисы для A/B тестирования

23.07.2021
1439 Просмотров

Сквозная веб-аналитика от 800 рублей в месяц

Узнать подробнее

Хотите провести сплит-тест или A/B тестирование и сделать это без лишних усилий? В этом материале расскажем, какими бывают сервисы A/Б тестирования, что это такое и чем они могут помочь в работе маркетолога и веб-аналитика.

Статистика в A/B-тестировании

Большинство современных сервисов A/B-тестирования сделают все необходимые расчеты за вас. При этом необходимость вручную сравнивать полученную статистику отпадёт. Тем не менее, давайте напомним принципы, используемые в сплит-тестах. Это может помочь решить, какие инструменты лучше использовать и когда перепроверять данные.

А/Б тестирование или сплит-тесты — это проверка гипотезы и сравнение двух вариантов, А — исходного, и Б — измененного. С помощью сплит-тестов можно проверить, какой из них даст больше конверсий и благоприятнее повлияет на юзабилити сайта.

Наиболее важным понятием для интерпретации результатов является статистическая значимость тестов. Это вероятность того, что разница между коэффициентами конверсии для версии A и Б не является случайностью.

Тест считается значимым, если он достигает заранее определенного уровня достоверности. 95% достоверности — стандартная настройка для A/B-теста. То есть в 5% случаев есть вероятность, что в результаты закралась ошибка и никакого реального эффекта не было. Чтобы свести недостатки расчетов к минимуму, в процессе используются различные математические модели, включая когортный анализ.

Выбранный сервис A/B тестирования покажет, когда тесты достигли статистической значимости на установленном уровне достоверности. Он также сообщит вероятность того, что у расчета есть недостатки и полученные результаты — некорректные.

Для уверенности вы можете дополнительно проверить значимость вашего сплит-теста, введя результаты в так называемый калькулятор A/Б тестов. Они бывают 2-х видов: калькулятор достоверности или статистической значимости и калькулятор размера выборки.

Как подготовиться к A/B-тестированию 

В основе A/B-тестирования всегда лежит цель. Для большинства компаний целью является увеличение продаж и повышение коэффициента конверсии. Чтобы проверить, какая версия страницы, А или B, работает лучше всего, необходимо обеспечить: 

  • Гипотезу — нужна сильная гипотеза о том, какие изменения улучшат исходную страницу.
  • Исследование пользователей — чтобы создать гипотезу, нужны знания того, как люди взаимодействуют с контентом.
  • Трафик — вы не сможете провести сплит-тестирование сайта без достаточной тестовой выборки.
  • Инструмент тестирования — приложение или программное обеспечение для оптимизации, управления трафиком и сбора результатов.

Поиск удачной гипотезы, которая вызовет повышение конверсии или продаж, — это непросто. Чтобы ее подобрать, часто требуется значительное количество исследований.

Как провести A/B-тестирование за 5 шагов

1. Анализ воронки

Прежде чем начать задумываться о том, как тестировать, нужно выяснить, что нуждается в улучшении. Инструменты веб-аналитики, например, Google Analytics или Яндекс.Метрика, в числе прочего показывают, как посетители перемещаются по вашему сайту. Проведя анализ этих данных и обнаружив слабые места в своей воронке продаж, вы сможете определить, где необходимо внести изменения.

2. Создание и расстановка приоритетов для гипотез

Существует широкий спектр сервисов, которые помогают формировать гипотезы. Они варьируются от инструментов «тепловых карт», таких как Hotjar, CrazyEgg или Вебвизор от Яндекс.Метрика, до инструментов опросов, таких как Typeform. Хороший A/B тест должен иметь четко сформулированную гипотезу, основанную на реальных данных и тесно связанную с нужными KPI. Пример: если на Вебвизоре вы видите, что люди пролистывают кнопку «Заказать», значит, имеет смысл увеличить ее видимость.

3. Настройка теста

Важно точно указать настройки теста. Перед запуском нужно определиться с целью тестирования, на какие страницы направлять трафик и как будет производиться выборка пользователей для теста. Продвинутые инструменты A/B-тестирования используют алгоритм Multi-Armed Bandit — «многорукий бандит» — для разделения посетителей между тестируемыми страницами. Подробнее о нем мы расскажем ниже.

Также необходимо определиться с уровнем достоверности, которого мы планируем достичь. Напоминаем, что её уровень в 95% является «золотым» стандартом для проведения A/Б тестов.

4. Проведение теста

Есть одно общее правило того, как проводить А/Б тест: избегайте искажения результатов из-за особенностей трафика, который поступает на тестовые страницы. Использование платной рекламы для увеличения числа посетителей часто меняет качество потенциальных клиентов, создавая ложное представление о том, какая версия лучше. Поэтому идеально, если А/Б тест проводится на текущей аудитории сайта или же на аудитории, созданной на основе существующей. Точно так же лучше не редактировать сценарии или любые настройки теста во время его выполнения.

Конечно, это не относится к случаям, когда A/B тестирование проводится с целью выявления наиболее удачного рекламного креатива. В таком случае основной целевой аудиторией исследования как раз таки и являются пользователи, увидевшие вашу платную рекламу.

Одна из наиболее частых проблем, с которой сталкиваются новички, — это непонимание, когда закончить A/B тест. Короткий период тестирования не даст достаточной статистики, — достоверность результатов может быть весьма условной. Минимальный срок проведения A/Б теста должен составлять 10-14 дней.

5. Интерпретация результатов

Даже если вы добьетесь статистически значимых результатов, все равно стоит вносить изменения на сайт не сразу, а постепенно. Это связано с тем, что перемены часто имеют неожиданные последствия. Например, версия Б может побудить посетителей совершать покупки чаще, но при этом снизится средняя сумма чека. Необходимо перепроверить статистику еще раз прежде чем считать эксперимент законченным.

Возможности сервисов A/B-тестирования

Сегодня на рынке существует множество сервисов для A/B тестирования, не говоря уже о тех, которые предлагают тесты как часть комплексных услуг. Выбранное решение должно соответствовать масштабу бизнеса, отражать ваш предыдущий опыт работы с инструментами A/B тестирования и использовать имеющиеся ресурсы.

Но есть и другие факторы, которые следует учитывать. Перечислим обязательные и дополнительные функции такого ПО, а также возможные технические характеристики.

Обязательные функции

  • Возможность A/B/n тестирования. Суть функции в сокращении теста. Например, при исследовании трёх версий сайта используется A/B/C тестирование. А во время проверки эффективности двух версий ресурса, пользователь проводит A/B тестирование сайта. Сервис же заменяет имеющееся количество множеством — «N». 
  • «Умный» редактор. Некоторые инструменты A/B-тестирования имеют встроенные веб-редакторы для создания веб-страниц. Это похоже на интерфейс редактирования в CMS WordPress или Тильда. Такая опция полезна для начинающих «тестировщиков», особенно если работа с IT-отделом в компании затруднена.
  • Режим «автопилота» — если курс коэффициента конверсии внезапно изменится, нужно быстро отреагировать на это. Функция «автопилота» направляет трафик на наиболее эффективные в ходе тестирования страницы.

Дополнительные функции

  • «Многорукий бандит» — алгоритм позволяет «автопилоту» завершить тест с максимальной достоверностью. Он отправляет больше трафика на страницу, которая показывает наибольшую конверсию в ходе тестирования. Некоторые инструменты A/B-тестирования распределяют трафик равномерно между вариантами A и B. Это может означать направление половины трафика сайта на более «слабую» версию, что может стоить крупным компаниям огромных денег. «Многорукий бандит» позволяет этого избежать.
  • Библиотека идей для A/B тестирования. В какой-то момент идеи заканчиваются у каждого. Библиотека идей помогает найти вдохновение в опыте других.
  • Многовариантное тестирование, MultiVariate Testing, MVT. Многовариантные или мультимерные тесты позволяют выполнять тестирование одновременно на нескольких независимых элементах страницы. Существуют разные способы их проведения. Вы можете показывать пользователям все возможные комбинации элементов страницы или только их часть. Или настроить более редкое отображение «проигрышных» комбинаций.

Технические характеристики

  • На стороне клиента. Такие инструменты A/B тестирования работают, напрямую передавая параметры отображаемой страницы в браузер пользователя. Это делается путем «пометки» страницы несколькими строками кода JavaScript. Когда страница загружается, JavaScript связывается с платформой А/Б тестов, которая и «сообщает» браузеру, какой контент отображать. Платформа также отслеживает количество конверсий.
  • На стороне сервера. Такие сервисы запускаются на стороне страницы. Страница при этом компилируется сервером и представляется браузеру в готовом виде. Точно так же, как некоторые программы для ПК доступны только для Windows или Mac, некоторые серверные программы доступны только для определенных серверов — например, для PHP.

Обзор сервисов для А/Б тестирования

Мы рассмотрим самые популярные инструменты, включая лидеров рынка Optimizely, VWO и Google Optimize, оценим их по характеристикам, удобству использования и цене.

Convertize

Convertize — инструмент AB-тестирования, разработанный для веб-агентств и компаний среднего размера. Программное обеспечение позволяет любому маркетологу протестировать свои идеи без участия веб-мастера. Самые сложные части теста, такие как распределение трафика, автоматизированы.

Convertize

Стоимость Convertize основана на трафике, так что все тарифные планы включают полный функционал. 

Настройка и подписка, стоимостьОт 49$ в месяц за 20 000 посетителей
Как загружаются страницыНа стороне клиента или на стороне сервера
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTДа
Режим «автопилота» или «многорукий бандит»«Многорукий бандит»
Редактирование страницРедактор типа WYSIWYG
Библиотека идейДа

Optimizely

Optimizely — комплексное решение, предлагающее варианты A/B тестирования и настройки. Это самая старая и известная платформа и одновременно самый дорогой вариант.

Optimizely
Настройка и подписка, стоимостьОт 1000$ в месяц, по запросу
Как загружаются страницыНа стороне клиента или на стороне сервера
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTДа
Режим «автопилота» или «многорукий бандит»«Многорукий бандит»
Редактирование страницРедактор типа WYSIWYG
Библиотека идейДа

VWO

VWO

VWO или Visual Website Optimizer — еще один популярный сервис A/B тестирования, ориентированный на графику и дизайн.

Тарифы для VWO основаны как на характеристиках тестов, так и на трафике. Самые бюджетные варианты тарифных планов включают всего 10 000 посетителей в месяц.

Настройка и подписка, стоимостьОт 199$ в месяц за 10 000 посетителей
Как загружаются страницыНа стороне клиента
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTДа
Режим «автопилота» или «многорукий бандит»Нет
Редактирование страницРедактор типа WYSIWYG
Библиотека идейДа

AB Tasty

AB Tasty — известная площадка на рынке. Она предлагает широкий спектр функций для понимания аудитории и персонализации предложений. Этот инструмент A/B-тестирования изначально был разработан для больших компаний. Компания не дает стоимость продукта на сайте. Что указывает на акцентирование внимания на корпоративных клиентов.

AB Tasty
Настройка и подписка, стоимостьОт 1000$ настройка, от 200$ в месяц использование
Как загружаются страницыНа стороне клиента
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTДа
Режим «автопилота» или «многорукий бандит»«Многорукий бандит»
Редактирование страницРедактор типа WYSIWYG
Библиотека идейНет

Google Optimize

Google Optimize — это инструмент Google для A/B тестирования, является частью Google Marketing Platform. Он подключается к системе аналитики Google Analytics, которая требуется для использования программного обеспечения. 

Google Optimize

Есть 2 варианта решения — для Google Optimize требуется плагин браузера Chrome, а Optimize 360 предоставляет платную услугу, которая может тестировать до 10 вариантов страницы.

Настройка и подписка, стоимостьБесплатно
Как загружаются страницыНа стороне клиента
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTДа
Режим «автопилота» или «многорукий бандит»Нет
Редактирование страницРедактор типа WYSIWYG
Библиотека идейНет

Kameleoon

Kameleoon — еще один удобный инструмент для A/B тестирования. Это дорогой вариант по цене более 500$ в месяц. Компания уделяет особое внимание персонализации тестирования с помощью технологий искусственного интеллекта. Поэтому данное решение — хороший вариант для предприятий e-commerce с большим количеством клиентов.

Kameleoon
Настройка и подписка, стоимостьОт 500$ в месяц
Как загружаются страницыНа стороне клиента
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTДа
Режим «автопилота» или «многорукий бандит»«Многорукий бандит»
Редактирование страницРедактор типа WYSIWYG
Библиотека идейНет

Convert

Convert — один из мощных инструментов A/B-тестирования, который позиционирует себя как альтернатива Optimizely. Ценовая политика ориентирована на крупный бизнес. Самый дешевый план стоит около 599$ в месяц, оплачивается ежегодно.

Convert

Тарифы определяются на основе трафика и функций, поэтому трудно оценить точную стоимость каждой опции. 

Настройка и подписка, стоимостьОт 599$ в месяц; есть 15-дневный бесплатный тест
Как загружаются страницыНа стороне клиента
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTДа
Режим «автопилота» или «многорукий бандит»Нет
Редактирование страницРедактор типа WYSIWYG
Библиотека идейНет

Omniconvert

Omniconvert — сервис, который ориентирован на малые и средние предприятия. Инструмент A/B тестирования Explore предлагает функции локальной сегментации и персонализации. 

Бесплатный план позволяет тестировать до 5000 просмотров. Он не является приемлемой альтернативой платному, так как с его помощью практически невозможно достичь статистически значительных результатов с таким объемом трафика.

Omniconvert
Настройка и подписка, стоимостьОт 324$ в месяц; есть 30-дневный бесплатный тест
Как загружаются страницыНа стороне клиента
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTДа
Режим «автопилота» или «многорукий бандит»Нет
Редактирование страницРедактор типа WYSIWYG
Библиотека идейНет

Adobe Target

Adobe Target — инструмент Adobe для A/B тестирования, который используют многие компании по всему миру. Тарифные планы дорогие. Однако для тех, кто может оправдать такие большие маркетинговые затраты, сервис предлагает масштабное и мощное тестирование.

Adobe Target
Настройка и подписка, стоимостьОт 10000$ в месяц минимум
Как загружаются страницыНа стороне сервера
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTДа
Режим «автопилота» или «многорукий бандит»«Многорукий бандит»
Редактирование страницРедактор типа WYSIWYG
Библиотека идейНет

Freshworks CRM

Компания Freshworks купила сервис Zarget в 2017 году и переименовала его во Freshmarketer. А затем сделала частью набора маркетинговых инструментов, предлагаемых Freshworks. Инструмент А/Б тестирования входит в состав обширного пакета оптимизации коэффициента конверсии Freshworks CRM. Он включает функции теплового «картографирования» пути клиента, персонализации и редактирования страниц. Сервис предлагает отличный бесплатный вариант А/Б тестирования — до 10 000 посетителей в месяц.

Freshworks CRM
Настройка и подписка, стоимостьОт 29$ в месяц
Как загружаются страницыНа стороне клиента
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTДа
Режим «автопилота» или «многорукий бандит»Нет
Редактирование страницДа
Библиотека идейНет

Accenture Testing Platform

Платформа Accenture Testing Platform, запущенная в 2016 году, представляет собой набор цифровых систем тестирования. Сервис включает в себя функцию A/B-тестов. Это, пожалуй, самый дорогой вариант в нашем списке. Только установка и настройка стоит более 25000$. Однако предоставляемая услуга является комплексной и выходит далеко за рамки обычного тестирования страниц сайта. Отлично подойдет для тестирования собственного ПО и других масштабных проектов.

Accenture Testing Platform
Настройка и подписка, стоимостьБолее 25000$ однократно
Как загружаются страницыНа стороне клиента
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTДа
Режим «автопилота» или «многорукий бандит»Нет
Редактирование страницРедактор типа WYSIWYG
Библиотека идейНет

OpenText OptiMost

OpenText OptiMost — универсальная платформа, которая включает управление клиентским опытом и маркетинг, а также возможности А/Б тестирования. Решение подходит для более крупного бизнеса, нежели для малых или средних предприятий.

OpenText OptiMost
Настройка и подписка, стоимостьОт 1000$, по запросу
Как загружаются страницыНа стороне клиента
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTДа
Режим «автопилота» или «многорукий бандит»Нет
Редактирование страницРедактор типа WYSIWYG
Библиотека идейНет

ClickThroo

ClickThroo — простое решение для А/Б тестирования лендингов. Оно включает в себя инструмент создания и тестирования целевых страниц, готовые шаблоны таких страниц и расширенную аналитику. Сервис сопровождается консультационными услугами экспертов, поэтому этот пакет подойдет и для корпоративных клиентов.

ClickThroo
Настройка и подписка, стоимостьОт 93$ в месяц использование
Как загружаются страницыНа стороне клиента
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTНет
Режим «автопилота» или «многорукий бандит»Нет
Редактирование страницРедактор типа WYSIWYG
Библиотека идейНет

Conductrics

Conductrics строится вокруг концепции версий. Платформа обеспечивает как персонализацию, так и A/B тестирование. Это дает полный контроль над тем, кто и что видит на вашем сайте. Существует удобный конструктор страниц для маркетологов, не имеющих опыта программирования, — Conductrics Express, а также решение API для разработчиков.

Conductrics
Настройка и подписка, стоимостьПо запросу, от 200$ в месяц
Как загружаются страницыНа стороне клиента
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTДа
Режим «автопилота» или «многорукий бандит»Да
Редактирование страницРедактор типа WYSIWYG
Библиотека идейНет

Bound 360

Bound 360 — удобная платформа среднего уровня. К сожалению, решение не предлагает многовариантное тестирование.

Bound 360
Настройка и подписка, стоимостьПо запросу, от 80$ в месяц
Как загружаются страницыНа стороне клиента
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTНет
Режим «автопилота» или «многорукий бандит»Нет
Редактирование страницРедактор типа WYSIWYG
Библиотека идейНет

HiConversion

HiConversion основан на принципе мобильной оптимизации. Он заключается в том, что каждый член сообщества делится результатами своих тестов, чтобы помочь в создании общих шаблонов. Это дополняется полными возможностями мультивариантного тестирования и оптимизацией данных в реальном времени.

HiConversion
Настройка и подписка, стоимостьПо запросу, от 500$ в месяц
Как загружаются страницыНа стороне клиента
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTДа
Режим «автопилота» или «многорукий бандит»Нет
Редактирование страницРедактор типа WYSIWYG
Библиотека идейНет

Oracle Maxymiser

Maxymiser от Oracle — еще один вариант для компаний, которым нужны мощные возможности А/Б тестирования. Если другие решения, как правило, включают консультационные услуги в пакеты опций, Maxymiser — инструмент для «самообслуживания». Чтобы в полной мере использовать API и функции отслеживания, потребуются некоторые технические знания. Это решение, созданное для отделов маркетинга с собственной IT-поддержкой.

Oracle Maxymiser
Настройка и подписка, стоимостьПо запросу, от 750$ в месяц
Как загружаются страницыНа стороне клиента или на стороне сервера
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTДа
Режим «автопилота» или «многорукий бандит»Нет
Редактирование страницРедактор типа WYSIWYG
Библиотека идейНет

Monetate

Monetate входит в группу программного обеспечения для персонализации Kibo. Платформа основана на принципе оптимизации клиентского опыта и включает в себя А/Б тестирование, персонализацию и сегментацию.

Monetate
Настройка и подписка, стоимостьПо запросу, от 230$ в месяц
Как загружаются страницыНа стороне клиента
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTДа
Режим «автопилота» или «многорукий бандит»Нет
Редактирование страницРедактор типа WYSIWYG
Библиотека идейНет

SiteGainer

SiteGainer — традиционная платформа для A/B тестирования, которая поставляется с такими инструментами, как тепловые карты, всплывающие окна, опросы на странице и аналитика. Этот впечатляющий набор функций поддерживает международная команда опытных специалистов.

SiteGainer
Настройка и подписка, стоимостьПо запросу, в зависимости от трафика, от 180$ в месяц
Как загружаются страницыНа стороне клиента
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTДа
Режим «автопилота» или «многорукий бандит»Нет
Редактирование страницРедактор типа WYSIWYG
Библиотека идейНет

SiteSpect

SiteSpect — многофункциональное решение, разработанное для больших и посещаемых сайтов. Каждый из пакетов включает в себя анализ окупаемости инвестиций и обучение вашей маркетинговой команды. SiteSpect описывает себя как самую быструю платформу для оптимизации, что важно для тех, кто ориентирован на оперативные результаты и удобство пользователей.

SiteSpect
Настройка и подписка, стоимостьПо запросу, от 650$ в месяц
Как загружаются страницыНа стороне клиента или на стороне сервера
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTДа
Режим «автопилота» или «многорукий бандит»Нет
Редактирование страницРедактор типа WYSIWYG (не для решений на стороне сервера)
Библиотека идейНет

SiteTuners

SiteTuners — агентство, специализирующееся на маркетинговом консалтинге. Цена его решения зависит от количества выполненных вами тестов. Вариант подойдет компании среднего размера без собственного отдела маркетинга.

SiteTuners
Настройка и подписка, стоимостьПо запросу, за каждый тест
Как загружаются страницыНа стороне клиента
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTДа
Режим «автопилота» или «многорукий бандит»Нет
Редактирование страницРедактор типа WYSIWYG
Библиотека идейНет

Unbounce

Unbounce

Как и Clickthroo, Unbounce — решение для А/Б тестирования лендингов. Это один из самых известных инструментов для создания и оптимизации целевых страниц. Он включает в себя ряд плагинов для всплывающих окон и закрепленных сообщений. В отличие от многих других инструментов из нашего списка, Unbounce предоставляет доступное решение как для малого, так и для крупного бизнеса.

Настройка и подписка, стоимостьОт 80$ в месяц
Как загружаются страницыНа стороне сервера
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTНет
Режим «автопилота» или «многорукий бандит»Нет
Редактирование страницРедактор типа WYSIWYG
Библиотека идейНет

Webtrends Optimize

Webtrends Optimize

Webtrends Optimize поддерживает как A/B/n, так и многовариантное тестирование по каждому из маркетинговых каналов. Платформу можно использовать для самостоятельной работы, для работы с поддержкой или как их гибрид. Так что вы можете точно выбрать объем консультаций, который потребуется вашей команде.

Настройка и подписка, стоимостьПо запросу, от 179 фунтов в месяц
Как загружаются страницыНа стороне клиента или на стороне сервера
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTДа
Режим «автопилота» или «многорукий бандит»Нет
Редактирование страницРедактор типа WYSIWYG
Библиотека идейНет

Zoho Pagesense

Этот инструмент от Zoho — доступный и удобный способ выполнять А/Б тестирование сайтов. Он включает все основные интеграции и предлагает широкий спектр функций. Платформа не поддерживает многовариантные тесты. Однако это хороший вариант для малых и средних предприятий, у которых нет своего трафика, необходимого для такого рода тестов.

Zoho Pagesense
Настройка и подписка, стоимостьОт 18$ в месяц
Как загружаются страницыНа стороне клиента
Возможность A/B/n тестированияДа
Многовариантное тестирование, MVTНет
Режим «автопилота» или «многорукий бандит»Нет
Редактирование страницРедактор типа WYSIWYG
Библиотека идейНет

Существует также множество прикладных решений для А/Б тестирования, которые работают со сторонними сервисами или существуют в виде надстроек к основному функционалу системы. Пример тому СMS Тильда — tilda.cc, работающая через Google Optimize, CMS Bitrix, у которой есть собственный модуль для А/Б тестов. Или сервис Roistat c отдельной опцией сплит-тестирования юзабилити сайта. Собственные сервисы предлагают также платформы для размещения рекламы Google Ads и Яндекс.Директ, которые включают эту опцию в основной функционал для тестирования разных вариантов объявлений.

Есть и другая возможность для оперативной проверки вносимых изменений в каждой рекламной кампании — это интеграция сквозной аналитики на основе коннекторов. Он подойдёт в случаях, когда времени на длительные проверки нет, а увидеть и оценить результаты нужно быстро. Подключите все рекламные кабинеты, CRM и даже коллтрекинг к единому интерфейсу. Таким образом вы увидите, что принесло больше всего клиентов, а какие объявления просто слили бюджет.

Примеры успешных А/Б-тестов из практики

Мы подобрали несколько удачных примеров применения А/Б-тестов в различных маркетинговых областях. Они помогут более наглядно продемонстрировать пользу, которую тестирование может принести вашему бизнесу. 

  • 2000: инженеры Google провели А/Б-тест, чтобы ответить на вопрос: каким должно быть оптимальное количество результатов для отображения на странице результатов поисковой системы. С тех пор ответ — 10 результатов на страницу — остается неизменным.
  • 2008: президентская кампания Барака Обамы провела тест лендингов предвыборной кампании. С его помощью была определена комбинация CTA и иллюстраций, которые дали на 40% больше кликов. Тест помог привлечь 4 миллиона дополнительных регистраций и 75 млн $ пожертвований на кампанию.
  • 2009: сотрудник Microsoft создал тип ссылки, которая открывала страницы в новой вкладке. Во время А/Б-тестирования общее количество переходов на главную страницу MSN увеличилось на 8,9%, что дало большой рост вовлеченности пользователей. В тесте приняли участие более 900 000 пользователей из Великобритании. Исследование повторили с аналогичными результатами в США в 2020 году.
  • 2009: Google провел А/Б-тест более 40 цветовых комбинаций для своей страницы результатов поиска. Компания остановилась на комбинации, которая приносит им дополнительные 200 млн $ ежегодно.
  • 2017: А/Б-тестирование формата рекламных заголовков принесло 12% дополнительного дохода поисковой системе Microsoft Bing. Что дополнительно дало им 100 млн $ в год.
  • 2019: Microsoft сделала и протестировала альтернативные цвета для заголовков и подписей на своих страницах результатов поиска. Результаты были положительными, и компания повторила эксперимент на более крупной выборке из 32 миллионов пользователей. Когда были внесены изменения, выяснилось, что они дают дополнительный доход в размере 10 млн $ в год.

Подводные камни А/Б тестирования

Будет несправедливо не упомянуть и о деталях, подсвечивающих этот метод исследования не в лучшем свете. Без нюансов применения редко удаётся обойтись, если решение касается увеличения прибыли компании. Однако лучше знать о них заранее и сформировать реальную картину мира и ожидания от результата.

Для проведения качественного А/Б тестирования необходимо обработать большое количество данных. Если такое исследование захочет провести небольшой стартап, то ему может не хватить информации для анализа. Возьмём в качестве примера два объекта, которым нужно принять решение по итогам теста: 

  1. крупный интернет-магазин Ozon с посещаемостью более 150 тыс. уникальных посетителей в месяц;
  2. сервис доставки цветов, открывшийся в прошлом месяце с посещаемостью 200 уникальных посетителей в месяц. 

Ozon имеет большой трафик, и с такими показателями можно сделать вывод о результативности того или иного варианта дизайна ресурса всего за пару дней. 

Но что делать только что открытому цветочному магазину? 200 посетителей в месяц он пока получает исключительно за счет контекстной рекламы. Seo-оптимизация сайта находится в работе, а дополнительные рекламные каналы ещё не изучены. Применять А/Б тестирование сайта в данном случае просто нелогично. С таким объемом трафика выводы получится сделать только через несколько месяцев. Куда результативнее при таких вводных использовать А/Б тесты для рекламных креативов. 

Однако и для сайтов с большими объемами трафика А/Б тесты не всегда могут стать панацеей. Некоторые типы бизнеса решают сразу ряд пользовательских запросов. Например, на сайте Ozon пользователь может и читать отзывы, и покупать товары, и оформлять подарочные сертификаты. А типичный А/Б тест чаще всего затрагивает только одно из действий пользователя. Таким образом, крупным ритейлерам и прочим ресурсам с большим трафиком необходимо предусмотреть все возможные сценарии и разработать под них отдельные тестирования. 

А ещё увеличение конверсии за счёт изменения какого-либо показателя не всегда однозначно работает. Например, вы поменяли место расположения кнопок разделов. Теперь товары чаще добавляют в корзину. А пользователи корзины теперь путаются в разделах и реже завершают заказ.

Резюмируем ограничения А/Б тестирования:

  • Для качественного и результативного А/Б тестирования нужно много данных. Клики по рекламе, показы, трафик сайта — вне зависимости от объекта исследования, выборка данных должна позволять делать выводы.
  • Тесты подходят только для равнозначных задач. Например, при помощи А/Б теста легко найти подходящий вариант рекламного креатива и нужный цвет кнопки «Купить». Однако для подбора дизайна целого сайта данный метод не подойдёт, так как в данном процессе будет слишком много разноплановых задач.
  • Тесты не ориентированы на многоканальные последовательности. В расчёт берётся только одно действие пользователя. Например, один клик, одна покупка, одно заполнение заявки и так далее.
  • При проведении А/Б теста можно случайно задеть соседние процессы продаж и результат в них ухудшится. 

При всех этих нюансах А/Б тесты — самый верный способ получить информацию о том, что больше нравится пользователю. 

Если учесть все перечисленные нюансы, А/Б тестирование поможет получить максимум пользы от текущей версии сайта или рекламы. 

Частые вопросы

Какие критерии важны для сервиса по проведению А/Б тестирования?
Важно понимать, как работает это решение на стороне клиента. Оно генерирует показываемую страницу прямо в браузере, или на стороне сервера, то есть загружает пользователю готовую веб-страницу. Вторая опция подойдет для крупных компаний, где размеры выборки исчисляются тысячами человек. Еще одна важная функция — возможность одновременной проверки сразу нескольких изменений на одной странице. Хорошим дополнением будет и возможность редактировать веб-страницы прямо из интерфейса сервиса.
Какие дополнительные опции бывают у сервисов по А/Б тестированию?
Алгоритм «автопилота» или «многорукого бандита» — когда большая часть трафика направляется на страницу, которая показывает лучшие результаты в ходе тестирования. Так вы не теряете потенциальных клиентов. Еще одна опция — это библиотека встроенных идей и шаблонов для А/Б-тестирования. Она поможет подобрать гипотезы и сценарии для тестирования.
Что нужно сделать перед началом А/Б тестирования в сервисе?
Перед его началом вам понадобятся: - гипотеза — идея о том, какие изменения могут улучшить исходный вариант страницы; - трафик — чтобы проверить гипотезу, нужна достаточно большая выборка, и вы должны понимать её размер; - сервис для тестирования — решение для оптимизации страниц, управления трафиком и сбора статистики.
Оцените статью:
Средняя оценка: 0.0 Количество оценок: 0
Читать также
Как увеличить продажи в несколько раз с помощью ROMI center?

Закажите презентацию с нашим экспертом. Он просканирует состояние вашего маркетинга, продаж и даст реальные рекомендации по её улучшению и повышению продаж с помощью решений от ROMI center.

Запланировать презентацию сервиса
Попробуйте наши сервисы:
  • Импорт рекламных расходов и доходов с продаж в Google Analytics

    Настройте сквозную аналитику в Google Analytics и анализируйте эффективность рекламы, подключая Яндекс Директ, Facebook Ads, AmoCRM и другие источники данных за считанные минуты без программистов

    Попробовать бесплатно
  • Импорт рекламных расходов и доходов с продаж в Яндекс Метрику

    Настройте сквозную аналитику в Яндекс.Метрику и анализируйте эффективность рекламы, подключая Facebook Ads, AmoCRM и другие источники данных за считанные минуты без программистов

    Попробовать бесплатно
  • Система сквозной аналитики для вашего бизнеса от ROMI center

    Получайте максимум от рекламы, объединяя десятки маркетинговых показателей в удобном и понятном отчете. Отслеживайте окупаемость каждого рекламного канала и перестаньте сливать бюджет.

    Попробовать бесплатно
  • Сквозная аналитика для Google Analytics позволит соединять рекламные каналы и доходы из CRM Получайте максимум от рекламы, объединяя десятки маркетинговых показателей в удобном и понятном отчете. Отслеживайте окупаемость каждого рекламного канала и перестаньте сливать бюджет.

    Подробнее → Попробовать бесплатно
  • Сквозная аналитика для Яндекс.Метрики позволит соединять рекламные каналы и доходы из CRM Получайте максимум от рекламы, объединяя десятки маркетинговых показателей в удобном и понятном отчете. Отслеживайте окупаемость каждого рекламного канала и перестаньте сливать бюджет.

    Подробнее → Попробовать бесплатно
  • Сквозная аналитика от ROMI позволит высчитывать ROMI для любой модели аттрибуции Получайте максимум от рекламы, объединяя десятки маркетинговых показателей в удобном и понятном отчете. Отслеживайте окупаемость каждого рекламного канала и перестаньте сливать бюджет.

    Подробнее → Попробовать бесплатно