Расскажем, как получать максимум от ваших данных
Демо-презентация Демо
Demo
Запишитесь на демо Demo Самый быстрый и простой способ познакомиться:
  • Выясним, какая аналитика требуется для вашего проекта в зависимости от предстоящих задач.
  • Подберем оптимальный вариант: начиная от сквозной аналитики на базе Яндекс Метрики или Google Analytics 4 до продвинутой маркетинговой аналитики с моделями атрибуции и когортами.
  • Поможем считать CPL, CAC, AOV, LTV, ROAS, ДРР и ROMI.
  • Расскажем, как оптимизировать рекламу на целевых пользователей, используя информацию о сделках.
  • Отправим доступы к демо-кабинету с примерами отчетов.

Статистическая значимость

Статья обновлена 03.06.2022

Статистическая значимость – что это такое и почему она так важна? Подобного рода исследования относят к ряду количественных, а не качественных. То есть в разрезе маркетинга статистика может рассказать о цифрах, но не может определить почему именно они появились. Выводы о причинах их возникновения уже ложатся на сотрудников, проводящих такие исследования. 

Тем не менее эта наука является незаменимым инструментом во всех исследованиях. В сегодняшнем материале мы расскажем об азах статистической значимости и о возможностях её применения в рекламе. 

Посчитать t-критерий стьюдента онлайн и понять достоверность одной из гипотез? Если эти задачи  для вас слишком сложны, то этот материал для вас!

Виды гипотез

Со статистической значимостью тесно переплетается понятие «проверка гипотезы». Гипотеза – это только теория. После того, как будет разработана теория, необходимо определить порядок сбора доказательств. Различают два вида гипотез:

  • нулевую;
  • альтернативную.

Нулевая гипотеза

Нулевая гипотеза не требует доказательств. Данная теория говорит о том, что при использовании каких-либо новых данных, результаты деятельности не изменятся.

Целью является не доказательство, а опровержение этой теории. Например, следователь выдвигает множество гипотез по отношению к обвиняемому. В этом случае нулевая гипотеза – это презумпция невиновности. Человека  не смогут считать виноватым, пока не будет доказана его вина.

Альтернативная гипотеза

Если при нулевой гипотезе есть два объекта, которые имеют одинаковые свойства и нужно доказать, что один из них лучше, то наступает время альтернативной гипотезы. Если в нулевой гипотезе при воздействии на объект получается одинаковый эффект или таковой отсутствует в принципе, то при альтернативной гипотезе – один из эффектов лучше другого.

Иначе , альтернативную гипотезу можно назвать исследовательской гипотезой, так как у испытателя присутствует интерес её доказать.

Теперь, когда мы имеем представление о нулевой и альтернативной гипотезах, то, как доказывать одно и опровергать другое? Существует определитель, который позволяет понять удачный был эксперимент или нет. Он называется индексом достоверности.

Что такое статистическая достоверность? Это условная величина или уровень статистической значимости, который принимается, чтобы сказать, что является «значимым», а что нет.

Виды критериев

Для оценки гипотез применяется t-критерий Стьюдента. Это метод,  помогающий сравнить данные двух вариантов и сделать выводы об их различиях по статистическим параметрам.

Таблица значений критерия Стьюдента поможет установить, все ли данные находятся в установленном пределе или нет.

Этим критерием пользуются в том случае, когда отсутствует уверенность в том, что данные расположены выше или ниже нормы распределения.

Критерий t-Стьюдента

Автоматический расчет t-критерия Стьюдента

В интернете есть множество сервисов для расчета критерия Стьюдента онлайн. Их принцип действия схож:

1. Выбираем вид расчета: связанные или несвязанные выборки.

2. В первую колонку вводим информацию о первой выборке, во вторую – о второй. В каждую строку заносится по одному числу. Пробелы и пропуски не допускаются. Дробная часть числа отделяется от основной части точкой.

3. Как только колонки будут заполнены, нажимаем на кнопку «Произвести расчет». 

Коэффициент Стьюдента оценивает степень величин двух выборок, с учётом нормы распределения. Его достоинство заключается в том, что такой коэффициент  можно применять в любой сфере бизнеса. Рассчитать критерий Стьюдента онлайн можно на сайте

С аналогичными вводными, но по другому алгоритму работает и расчет критерия Манна-Уитни. Им также можно воспользоваться онлайн для сравнения групп данных.

Критерий Манна-Уитни

Как пользоваться статистической значимостью в маркетинге: пример анализа

Статистика используется во многих областях маркетинга. Аналитики исследуют все возможные элементы бизнеса. Интернет-маркетологи проводят анализ посещаемости ресурсов и эффективности рекламных кампаний.  PR-менеджеры смотрят посещаемость мероприятий перед тем как договориться о сотрудничестве с  конкретной площадкой для проведения ивента. В примере далее рассмотрим наиболее точную и последовательную область маркетинга  —  онлайн-рекламу.

Как определить коэффициент эффективности будущего рекламного объявления? Конечно, при помощи проведения тестирования различных видов и форматов креативов.

А/B тестирование в онлайн-маркетинге – это исследование, итог которого никогда нельзя знать заранее. Можно лишь выстраивать алгоритм работы таким образом, чтобы получить максимум данных исходя из результатов тестирования. Только после этого можно прийти к выводу о том, какой из вариантов является более удачным. Также для достоверности исследования оно должно продолжаться хотя бы одну неделю, так как в разные дни конверсия может варьироваться.

Возможные проблемы при проведении А/B тестирования

Наиболее наглядно продемонстрировать проблему тестирования поможет следующий пример. Предположим, в исследовании №1 человек в кроссовках фирмы Nike подкинул монетку вверх 30 раз, и она упала стороной орла ему на ладонь 25 раз. В исследовании №2 человек в кроссовках фирмы Adidas  проделал тоже самое количество подкидываний, но получил орла на ладони целых 28 раз. Разве из этого исследования очевидно, что кроссовки Adidas приводят к такому положению монетки?

В данном случае речь именно о нулевой гипотезе, определение которой мы описывали выше. Статистически значимые различия тут вовсе не кроссовки, они являются лишь переменной, не влияющей на ход событий. Именно это предстоит доказать при проведении тестирования с монеткой.

С подобными проблемами может столкнуться и интернет-маркетолог в ходе проведения А/B тестирования. Зачастую сложно понять, нажал ли пользователь на креатив из-за того, что в нём увеличен заголовок. Или он просто на него нажал, а заголовок в объявлении является аналогом кроссовок из предыдущего примера.

Ещё одна сложность А/B тестирований в том, что они указывают на статистику, но не объясняют почему именно так произошло.

Справиться с проблемами таких исследований в области интернет-маркетинга поможет увеличение выборки эксперимента, а также вариантов аудиторий/объявлений, с которыми проводятся сравнение.

Запишитесь на демо Самый быстрый и простой способ познакомиться:
  • Выясним, какая аналитика требуется для вашего проекта в зависимости от предстоящих задач.
  • Подберем оптимальный вариант: начиная от сквозной аналитики на базе Яндекс Метрики или Google Analytics 4 до продвинутой маркетинговой аналитики с моделями атрибуции и когортами.
  • Поможем считать CPL, CAC, AOV, LTV, ROAS, ДРР и ROMI.
  • Расскажем, как оптимизировать рекламу на целевых пользователей, используя информацию о сделках.
  • Отправим доступы к демо-кабинету с примерами отчетов.
Записаться на демо

Кейсы

Познакомьтесь с историями успеха наших клиентов, которые уже используют решения ROMI center
HoReCa case-1
Sushi Good Как увеличить выручку в 3 раза за счет внедрения сквозной аналитики

Продвижение в высококонкурентной тематике — это не только большие бюджеты на рекламу, но и необходимость принятия взвешенных решений для оперативной коррекции стратегии продвижения. Как Sushi Good увеличили доход за счет внедрения сквозной аналитики — читайте в кейсе.

Подробнее
Финансы case-2
Форс Сегментация лидов, их аналитика и оптимизация рекламы: 3 шага к экономии бюджета

Финансовая и кредитная тематика требует углубленной работы с сегментами целевой аудитории. Как нашему клиенту, кредитному брокеру из Санкт-Петербурга, удалось оптимизировать бюджет и правильно сегментировать целевых пользователей с помощью внедрения аналитики?

Подробнее
Маркетинг case-3
Convert Monster Экономия рекламного бюджета и времени на аналитике: кейс обучающего центра

Как быстро собирать отчеты об эффективности рекламы, фиксировать путь лидов по каждой из ступеней продаж с помощью коннекторов, а также экономить силы на сборе аналитики — рассказываем в кейсе.

Подробнее
Маркетинг case-1
КликКлик Экономия времени на аналитике рекламы клиентов: кейс интернет-агентства «КликКлик»

Сбор аналитики для интернет-агентства для множества клиентов — ежедневная задача менеджеров. Как с помощью коннекторов ROMI center клиент экономит время на рутинных задачах, и с легкостью масштабирует рекламные кампании заказчиков — читайте в кейсе.

Подробнее
Образование case-5
DIVA Отказ от подрядчиков и полная оцифровка трафика: итоги 9 месяцев работы с ROMI center

Когда над каждым каналом рекламы работает отдельный подрядчик, архи важно систематизировать все результаты продвижения в режиме единого окна: расходы на рекламу и доходы с нее. В кейсе рассказываем, как DIVA полностью систематизировали данные по трафику.

Подробнее
Продажи case
Rusbarrier Сквозная аналитика: как убрать нецелевые звонки и начать зарабатывать на 300% больше

Можно ли в условиях кризиса увеличить доход в узком сегменте? Да, принимая взвешенные маркетинговые решения и ориентируясь на точные цифры, а не на собственные догадки. В кейсе рассказываем историю клиента, который увеличил прибыль с рекламы на 300% пока его конкуренты закрывались один за одним.

Подробнее
Посмотреть все кейсы