A/B-тестирование: что это такое, для каких целей используется

Статья обновлена 25.07.2022

Для развития бизнеса приходится постоянно генерировать различные идеи. Однако далеко не каждая из них способна увеличить конверсию, привлечь в Интернете новых клиентов или еще как-то положительно повлиять на развитие бизнеса. Поэтому важно уметь быстро проверять и оценивать гипотезы, а затем оставлять только наиболее удачные. Существуют различные способы сделать это, но одним из наиболее эффективных считается A/B-тестирование. В материале разбираем, что это такое и для чего может использоваться.

Что такое A/B-тестирование

А/Б-тест простыми словами — это маркетинговый метод, с помощью которого оценивают эффективность ресурса или рекламной кампании в Интернете. Данный тест также нередко называют сплит-тестированием. Допустим, у вас запущены рекламные объявления, и вы хотите поменять креатив. Вкусы вашей аудитории могут не совпасть с вашими, а прогадать — значит, потерять часть лидов. Здесь и помогает тест разных вариантов. 

С помощью A/B-тестов анализируют целые страницы и элементы на них, объявления, аудиторию или даже целые связки «канал–кампания–лендинг». Для изучения итогов теста можно выбрать любую систему аналитики, ориентируясь на привычный процесс исследований. Неважно, будет использоваться Яндекс.Метрика или Google Analytics — обе эти системы считаются в Интернете популярными инструментами, которые подходят для различных тестов. 

Теперь мы разобрались, что такое А/Б-тестирование сайта, лендинга или объявления: это инструмент для анализа чего-то одного исчисляемым показателем параллельно, когда аудиторию делят на несколько сегментов при прочих равных условиях. 

Теперь перейдем к тому, зачем нужны такие тесты и как их проводить.

Зачем нужны А/B-тесты 

A/Б-тест позволяет оценить эффективность изменений веб-страниц сайта. Этот маркетинговый метод помогает настраивать и совершенствовать страницы, улучшая различные метрики.

Чтобы протестировать то или иное изменение, необходимо создать новый вариант страницы и сохранить старый. После этого воспользоваться одним из специальных сервисов. Оценку итогов можно проводить через две недели после запуска теста или дольше, если тест опирается на небольшой объем данных.

Пример 

Возьмем для примера лендинг по продаже окон из пластика. Эта страница получает трафик от контекстной рекламы на Яндексе. Маркетолог, продвигающий этот лендинг, узнал, что на сегодня популярны круглые кнопки на сайте. 

Прежде чем заменять прямоугольные кнопки, стоит проверить такую теорию. Нужно внести правки на сайт и дать клиентам оценить обновленный лендинг.

Лучше обойтись только частью аудитории. Если новая настройка приведет к снижению конверсий или числа визитов, это будет не так заметно для бизнеса. 

Как это делается? Создается вторая версия лендинга, где кнопки будут круглыми. На нее направляется часть визитов с контекстной рекламы — люди получают шанс оценить обновленную версию и поработать с ней.

В нашем примере A/B-тест — это сравнение исходной версии страницы сайта с новой. Для этой цели используется группа пользователей и выполняется оценка изменений ключевых метрик. После процедуры можно принять обоснованное решение, выбрав более эффективный из двух вариантов.

Читать также

A/B-тестирование в рекламе: Google, Яндекс и Facebook

Как улучшить результаты своих рекламных кампаний? Попробуйте провести сплит-тест. В этой статье мы расскажем, что такое А/Б-тестирование на различных площадках и как …

Еще

Подобный тест могут использовать маркетологи, продакт-менеджеры, веб-мастера, продуктовые дизайнеры. Проведение эксперимента позволит получить объективные сведения о различных методах улучшения текущей версии любого онлайн-продукта. Полученная объективная информация в Яндекс.Метрике или Google Analytics дает возможность перенастроить страницу и быстрее продвигаться на рынке. Ведь только пользователи знают, что им требуется именно сейчас. В этом и помогут сервисы А/Б-тестирования.

Достоверный тест возможен только тогда, когда есть достаточно пользователей, информации и времени для накопления статистики. В ином случае не удастся добиться желаемых показателей, а сведения могут оказаться неточными. Это наблюдается из-за высокой чувствительности метрик аналитики. Можно упустить важные моменты, которые повлияют на продвижение продукта.

Пример

Средняя конверсия вашего сайта — 0,5%. После открутки первых 60 кликов вы получили конверсию 1,6%.

Затем вы крутите еще 120 кликов и вообще не получаете конверсий. Теперь конверсия из 180 кликов составляет 0,5%. 

Дальше вы крутите еще 120 кликов и получаете еще одну конверсию.

Итого 300 кликов и 2 конверсии = 0,66%.

Такие скачки — норма. А когда речь идет о повышении конверсии сайта от 0,5 процентов, то любые колебания плюс-минус 0,1% уже много решают.

Поэтому выводы нужно делать на больших цифрах, для которых подобные скачки будут незначительно менять общую картину.

Еще одно следствие: следует делать выводы уже по результатам за выбранный период, а не «подглядывать» заранее. Промежуточные значения могут показать вам совсем не то, что будет корректным итогом. 

К тесту нужно правильно подготовиться, настроив систему аналитики. Также обязательно заранее разобрать алгоритм, как проводить А/Б-тестирование для достижения желаемых метрик.

Читать также

Подробный гайд по А/Б тестированию для e-commerce сайтов

Вы уже наверняка что-то слышали об эффективности A/Б тестирования. Про это написано немало статей. Возможно, даже применяли эту тактику для постов в …

Еще

Этапы А/B-тестирования

Для качественного продвижения продукта необходимо проверять каждую новую идею. Прежде чем настроить глобальные изменения на сайте, нужно убедиться, что они не навредят. Доверительное А/Б-тестирование позволяет получить объективную статистику, которая повлияет на принятое решение специалиста. Тогда удастся сделать вывод, стоит ли всё-таки вносить изменения.

Доверительное A/B-тестирование — это статистический термин, означающий измерение разницы средних параметров при помощи сравнения нескольких источников исследования. 

Провести процесс можно в несколько шагов. Поэтому рассмотрим подробнее, как провести А/Б-тест двух сайтов.

Шаг 1. Постановка цели

Она должна соответствовать глобальной цели организации. К примеру, компания занимается продажей окон из пластика в Яндекс и Гугл и хочет при помощи лендинга увеличить количество продаж. Следовательно, при проведении теста важно проанализировать, получится ли повысить число заказов с помощью новой идеи. 

Шаг 2. Выбор метрики

Под понятием «метрика» подразумеваются основные показатели бизнеса. Речь идет о выручке, объеме продаж, чистой прибыли, числе посетителей сайта и заполнений форм, коэффициенте конверсии и других. 

Так, А/Б-тест revenue — для анализа дохода — позволит определить, вырастет ли выручка. Желательно выбирать только один показатель для оценки. Если же взять несколько показателей, то они должны быть тесно связаны друг с другом.

Шаг 3. Определение гипотез

Нужно выбрать гипотезу, которая будет связана с главной метрикой теста. Рассмотрим такое предположение: если поменять кнопки на сайте, то конверсия повысится с 3 до 8%.

При негативном исходе придется задуматься, как еще можно повысить показатели. Затем подготовиться к проведению нового теста, а все сделанные изменения отменить.

Шаг 4. Дизайн 

Он может быть техническим и влияющим на функционирование ресурса или содержать только незначительные изменения визуального характера. Многое зависит от возможностей команды, наличия материальных и временных ресурсов для выполнения теста. 

Например, в крупных компаниях есть автоматическая система, которая перед проведением теста аудитории разбивает пользователей на группы и определяет величину выборки. Соответственно, при таких возможностях они могут позволить себе проводить тесты чаще.

Размер выборки для А/Б-теста имеет значение, и ее величина определяется индивидуально. Она зависит от количества визитеров, базовой конверсии и желаемого результата. Минимальный размер выборки для А/Б-теста зависит еще и от длительности процесса. Если процесс затянется на месяц, то можно охватить больше потенциальных клиентов, так как при негативном исходе влияние на прибыль будет менее ощутимо в долгосрочной перспективе. 

Перед проведением А/B-теста аудитории разберитесь, какие пользователи будут участвовать в его проведении. Их нужно разбить на группы, например, по возрасту, полу, городу проживания и так далее. Или перешедшие из объявлений на Яндексе и в Гугле. Затем определите объем выборки, длительность и желаемый уровень значимости теста. Последний пункт в большинстве случаев должен составлять 95%.

Шаг 5. Проведение эксперимента и накопление данных

Теперь потребуется запустить тест и выждать нужный период. Не стоит в это время заранее наблюдать за результатами. Это называют «ошибками подглядывания»: следить за процессом до того, как накопятся статистически значимые объемы данных. Так что не спешите с выводами — следуйте заранее заданному расписанию.

Информацию можно накапливать с помощью счетчиков на сайте, смотреть показатели в рекламном кабинете веб-аналитики или отчетах сквозной аналитики.

Читать также

Что такое UTM-метки, зачем они нужны и как ими пользоваться?

Как определить, какая из рекламных кампаний приводит на ваш сайт максимум посетителей? Здесь поможет грамотная разметка ссылок. В статье блога мы расскажем, …

Еще

Шаг 6. Анализ

Теперь можно проанализировать собранную информацию. Следует ли внести правки на страницу сайта или в объявление и распространить их на всю аудиторию? Или потребуется оставить старую версию? При этом нужно учесть измеряемый метричный вес при A/Б-тесте, гипотезы и многие другие моменты. 

Во время проведения A/B-тестирования для каждого проверяемого варианта назначается определенное количество трафика. Например, на версию первой страницы его отводится 50% и на вторую версию также 50%. В зависимости от потребностей исследования можно менять это процентное соотношение. Оно и называется весом при A/B-тестировании.

Аналитик должен обязательно рассчитать статистическую значимость результатов. Ее допустимый уровень — от 90 до 95%. Если он окажется ниже установленного порога, тогда полученные изменения никак не связаны с внесенными правками, а являются просто случайными колебаниями величины.

Советы для эффективного проведения А/B-теста

Сплит-тесты помогают проверить гипотезы специалистов. Но бывают ситуации, когда все идеи проверены, а результат не улучшился. Тогда советуем попробовать нижеописанные изменения для более полного учета интересов ЦА. 

1. Упростите действия, которые требуются от пользователя на сайте. Например, вместо большой формы обратного звонка оставьте краткую — только имя и номер. Людям жалко тратить время на заполнение больших анкет. 
2. Добавьте на сайт мультимедиа, но в разумных пределах. К примеру, на посадочную страницу можно внедрить чат-бота и видео о товаре. 
3. «Поиграйтесь» с цветом. В рассылке или на лендинге иногда применяют агрессивный красный цвет кнопок. Если ваш бизнес связан с фермерством, то на аудиторию может лучше сработать зеленый или голубой. И в целом цветовые вкусы аудитории меняются со временем, какие-то оттенки становятся раздражающими или выходят из моды. Так что пробуйте. 
4. Предложите бонусы быстро откликнувшимся. Например, скидка 15% для первых десяти заявок на сайте. Можете даже не удалять это обещание, когда квота счастливчиков уже набралась — остальные тоже подсознательно отреагируют на выгодное предложение, даже если оно им уже не достанется. 

В интернет-маркетинге А/Б-тесты обычно используют для повышения эффективности почтовой рассылки, а также конверсии и CTR на сайте. A/B-тест дает развернутые ответы, как оптимизировать эти маркетинговые активности и в каком направлении лучше двигаться.

Что улучшают в А/B-тестах

Чаще всего маркетологи применяют сплит-тесты к таким элементам сайта:

• текст, расположение и внешний вид кнопок покупки;
• заголовок и краткое описание;
• предложения;
• размеры, расположение и вид конверсионных форм, например, анкет для обратного звонка;
• макет и дизайн страницы в целом;
• цену услуги или товара, а также другие компоненты предложения;
• иллюстрации к продукту;
• количество текста на веб-странице. 

В других видах маркетинговых активностей можно варьировать иные элементы. Например, менять тему письма в email-рассылках, увеличивать количество карточек товара в объявлении ВКонтакте. 

Читать также

Как оптимизировать рекламу с помощью сплит-тестирования

Какие изменения на сайте или в интернет-объявлении улучшат важные для бизнеса показатели — принесут лиды и конверсии? Проверить это можно экспериментально — с помощью …

Еще

Какие показатели улучшают за счет A/B-тестирования?

1. Конверсия. Ее считают как долю посетителей, совершивших конкретное действие, от общего числа посетителей за один и тот же период. В качестве целевого действия выбирают совершение покупки в интернет-магазине, клик на баннер сайта, заполнение формы на лендинге и так далее.
2. Экономические метрики. К ним в e-commerce относят такие показатели, как величина среднего чека, объем выручки по отношению к числу посетителей, возврат маркетинговых инвестиций и тому подобные. Последний показатель — ROMI — можно отслеживать с другими метриками в едином отчете через систему сквозной аналитики ROMI center. 
3. Поведенческие факторы. Эти значения позволяют численно оценить, насколько посетители заинтересованы в ресурсе. К метрикам относится число посетителей на сайте, средняя продолжительность сессии, показатель отказов, коэффициент удержания и другие. 

На эти три категории метрик опираются чаще всего, когда хотят провести A/B-тест. В процесса можно выбрать только какой-то один показатель, а уже потом улучшать результаты за счет других метрик. 

Читать также

7 простых UX улучшений для e-commerce сайтов, которые повысят вашу прибыль

Оптимизация пользовательского опыта в онлайн магазине может показаться сложной задачей. В этом процессе очень много переменных и иногда непонятно с чего начать. …

Еще

Как анализировать результаты

Итак, вы набрали необходимую статистику за выбранный срок. Как отделить статистически значимые показания от случайных колебаний величин? Нужно оценивать среднее значение и распределение значений в сегментах. 

Ниже изображены два примера распределения значений показателя в сегментах. По горизонтальной оси идет значение ключевой метрики, взятой для теста. По вертикальной — плотность этих значений. Плотность может принимать значения от 0, если значение ни разу не встретилось, до 1, если при всех измерениях было только это значение. 

Двумя цветами обозначены A- и B-сегменты, на которых проводился тест. Так, на картинке 1 для A-сегмента у KPI 2,5 плотность значений 0,3, то есть оно встречается в 30% случаев. 

Графики распределения показывают, насколько часто появляется значение случайной величины в выборке. В данном случае все значения распределены вокруг среднего. Разницу в среднем KPI для двух выборок показали через разность «sd» — среднеквадратичное отклонение. 

На обоих скринах средние значения какого-то KPI в аналогичных сегментах одинаковы, картинки отличаются только разбросом значений. На картинке 1 он более широкий — вокруг среднего есть еще несколько значимых результатов. На втором графике значения резко уходят вниз — таких показаний получилось гораздо меньше, чем среднего. 

Этот пример хорошо иллюстрирует, что разности средних значений недостаточно, чтобы считать полученные данные достоверными. Следует еще рассмотреть площадь пересечения распределений. Чем она меньше, тем с большей уверенностью мы можем сказать, что эффект действительно значим. Эта «уверенность» в статистике называется значимостью результата.

Чтобы принимать решения об эффективности теста, выбирают уровень значимости 90, 95 или 99%. Пересечение распределений при этом равно 10%, 5% или 1% соответственно. При невысоком уровне значимости вы рискуете сделать неверные выводы об эффекте изменения.

Допустим, что на графиках рассматривался такой ключевой показатель как конверсия. Чем ее величина в сегментах больше, тем меньше разброс среднесуточных значений показателя. А при небольшом объеме исходных сведений вам потребуется более долгий эксперимент из-за большего разброса значений случайной величины. Однако это всё равно лучше, чем вовсе не проводить A/B-тест и настраивать всё наобум.

Читать также

Калькулятор A/B-тестов: для чего он нужен и как им пользоваться

A/Б-тест, или эксперимент A/B, — один из самых простых и надежных методов для статистической проверки гипотез. Эта методика появилась еще в начале ХХ …

Еще

Оценка значимости итогов теста

Существует раздел математики для проверки статистических гипотез. Может быть два вида гипотез:

1) нулевая: разница между средними значениями для A и B незначительна;
2) альтернативная: есть существенная разница между средними значениями показателя в сегментах.

Проверить гипотезы можно с помощью статистических тестов. Достаточно универсальный вариант — тест Стьюдента. Он помогает работать с небольшими объемами данных, допустим, для среднесуточных значений. Размер выборки учитывается при оценке значимости. 

Тест Стьюдента помогает оценить значимость данных при измерении конверсии, среднего чека, средней глубины просмотра и подобных численных метрик. 

Специализированные сервисы избавляют вас от подсчетов вручную и помогают провести тест с нужным вам уровнем достоверности результатов. Разберем основные из них. 

Инструменты для проведения А/B-тестирования

Помимо крупных сервисов для масштабных тестов есть простые онлайн-инструменты. Рассмотрим самые популярные. 

1. Optimizely. Стоимость его использования зависит от масштаба ваших задач. Плюсы — можно проводить тесты в интуитивно понятном интерфейсе, а не через HTML-код тестируемых страниц.

2. Flexbe. Инструмент позволяет тестировать только те сайты и лендинги, которые созданы через конструктор Flexbe. Зато есть шаблоны, домен в подарок, почта и интеграция с CRM-сервисами и программами для email-рассылок. Стартовый тариф стоит 750 рублей в месяц, а самый дорогой — 1500 рублей в месяц. Последний позволяет работать с 5 сайтами, а не с одним. 

3. LPGenerator. Инструмент оснащен визуальным редактором и шаблонами. Тоже позволяет тестировать только лендинги, сформированные через сам сервис. Можно заказать у специалистов LPGenerator повышение KPI целевой страницы, и они также проведут A/B-тест. Базовый тариф стоит 799 рублей в месяц, есть недельный пробный период.

4. Convert.com. Поддерживает A/B и MVT. Вторая разновидность теста проверяет эффективность сразу нескольких комбинаций разных элементов на странице. По итогам MVT вы увидите, какое сочетание дает нужные ключевые метрики. Тарифные планы начинаются от $9 при 2000 посетителей сайта и до $139-$1499 для агентств. Демоверсия предлагается на 15 дней. 

Как провести тест на Google Optimize

Популярный инструмент для A/B-тестов — Google Optimize. Он бесплатный, но не всегда подходит для крупного бизнеса. 

Сервис «Оптимизация» позволяет проверять эффективность пяти вариантов страницы за один тест. Используя его, можно проводить A/B/n-тестирование, то есть проверять сразу несколько гипотез вместо двух.

Вы можете сами выбрать долю трафика сайта для теста. По срокам тестирование можно проводить здесь от 2-х недель до 3-х месяцев. Полученные сведения будут отображаться в личном кабинете или придут на указанный вами электронный адрес. 

Как провести тест в Google Optimize?

1. Зайдите в свой аккаунт, откройте инструмент «Оптимизация» и создайте проект. Дайте ему название, к примеру, «A/B-тест цвет кнопок май 2022». 
2. Укажите URL страницы, которую вы будете менять. Сервис создает ее копии и будет проводить тест через них.
3. Выберите режим «Эксперимент A/Б».

4. Зайдите в созданный проект и настраивайте его через подсказки системы. 

5. Сначала создайте тестовые варианты и добавьте правила таргетинга. Для работы установите в браузер Chrome расширение «Оптимизация» из официального магазина Google. Оно позволяет визуально корректировать изменения на страницах.

6. Укажите, по какому URL-адресу пользователь будет видеть измененные варианты страницы. Можно задать несколько условий такого перехода на тестовую версию. Обязательно проверьте, что эти экспериментальные копии страниц работают, а не высвечивают ошибку 404, скажем, при оформлении заказа в интернет-магазине. 

7. Задайте ЦА. Например, изменения на странице будут показаны только посетителям из Санкт-Петербурга.

8. Выберите цель. Можете взять ее из набора стандартных или создать свою. Такие измеримые цели должны быть связаны с Google Analytics. Допустим, как зависит число просмотренных статей блога от цвета фона заголовка H1 на главной. Или как цвет кнопки «Купить» влияет на саму число кликнувших по ней в интернет-магазине. 

9. Создайте код эксперимента и вставьте его на страницу. Для этого нужно немного разбираться в HTML. Если вы не занимаетесь HTML-кодами сами, то можете выбрать опцию «Отправить код веб-мастеру». 
10. Задайте долю трафика, которая будет задействована в тесте. По умолчанию используется 100%, а если у вас, скажем, миллион уникальных посетителей в месяц, то будет достаточно и 20–30 тысяч пользователей. То есть можно выбрать 3%.

Теперь в меню высветится сообщение о том, что проект готов к запуску. Нажмите «ОК».

Вы сможете оценить итоги теста через несколько суток после начала эксперимента. Чтобы следить за процессом, выберите соответствующий эксперимент в списке и перейдите на страницу отчетов. Но как вы помните, важно избежать «ошибок подглядывания» и выждать достаточное время для выбранного трафика. А не бросаться сразу отменять изменения, если первые показания вас пугают.

Частые ошибки при проведении A/B-тестирования

По сообщениям HubSpot, только 22% компаний удовлетворены текущими показателями конверсии. Это может быть связано с тем, что они:

• не проводят A/B-тесты в принципе;
• прерывают эксперимент на полпути;
• не вносят исправлений в соответствии с полученными данными сплит-тестирования или вносят их на ограниченных участках.

Многие опасаются A/B-тестирования, потому что якобы в процессе проверки различных элементов можно ухудшить текущие KPI. Но это не так. 

Корректно проведенные A/B-тесты не ухудшают важные для бизнеса показатели, а наоборот, помогают их улучшить. 

Так что решение не проводить сравнений, полагаясь на опыт или на интуицию — не самое удачное для бизнеса.

Еще одна частая ошибка: тест прерывают досрочно, не доводя его до конца, то есть совершают уже упомянутую «ошибку подглядывания». Сначала убедитесь, что данных хватает, чтобы получить статистически значимый результат. Затем уже можете делать первые выводы. Промежуточные показания могут не дать точной картины.

Если ради высокой статистической значимости вы берете большую выборку, то тест затянется, так как понадобится набрать достаточно трафика. Зато вы получите качественные и точные результаты теста. Если же выборка меньше, то и данные вы соберете быстрее. Но достоверность такого эксперимента будет иметь заметные погрешности. 

Наконец, на этапе необходимых изменений, когда вы полностью уверены в итогах А/Б-теста, тоже можно допустить просчеты. Чтобы ничего не упустить, лучше сразу перенесите данные сплит-теста в отдельный документ или электронную таблицу. Это позволит:

• избежать повторного тестирования одних и тех же элементов в будущем;
• облегчить поиск решений, которые можно использовать в других областях интернет-маркетинга.

Допустим, данные ваших тестов показали, что изображения людей вместо картинок товара на целевой странице магазина улучшают конверсию. Кроме того, чтобы внести необходимые изменения на сайт, можно применить этот вывод к другим элементам вашего маркетингового контента. Предположим, к рекламным объявлениям в сетях, на поиске или к форме электронного письма в клиентской рассылке.

Со временем вы начнете видеть все закономерности, которые увеличивают эффективность вашей маркетинговой активности. После А/B-тестирования можно создать собственную библиотеку проверенных лайфхаков, которые начнут работать на продвижение вашего бизнеса. Вы можете использовать эти шаблоны, чтобы лучше понимать свою целевую аудиторию и эффективно с ней взаимодействовать.

Читать также

Целевая аудитория: учимся определять ее правильно

Целевая аудитория – что это такое? Когда мы употребляем это определение, то имеем в виду людей, которые потенциально могли бы пользоваться какой-то …

Еще

Резюме

Вы узнали о том, как провести А/Б-тестирование, корректно оценить результаты и избежать типичных ошибок. Мы рассмотрели алгоритм проведения теста на примере страниц сайта. Однако аналогичный подход с небольшими изменениями можно распространить и на другие виды исследования. Например, на выбор рекламного объявления или функционала мобильного приложения.