Рассчитать выборку можно вручную или с помощью специальных сервисов, например Driverback или Optimizely. A/B-тестирование, или сплит-тестирование, — это метод исследования, при котором сравнивают эффективность двух вариантов какого-то объекта, например страницы сайта. Эти варианты показывают аудитории и оценивают, на какой из них люди реагируют лучше. A/B-тестирования помогают принимать решения по улучшению продукта на основе данных о предпочтениях посетителей. Для успешной реализации теста важно хорошо к нему подготовиться, учесть нюансы и выбрать хороший сервис для проведения.
Глубина содержания влияет на SEO, а также на показатели времени, проведенного на странице и коэффициент конверсии. А/В-тестирование позволяет найти идеальный баланс между ними. Только не нужно вносить изменения одновременно в несколько параметров, запуская А/В-тестирование. Если вы хотите проверить цвет кнопки, не меняйте в тот же момент и текст на кнопке или ее расположение. A/B-тестирование позволяет узнать, какие слова, фразы, изображения, видео, отзывы и прочие элементы работают лучше всего.
Сформулируйте гипотезу.
Со временем скорость стала резко снижаться, однако нам хотелось бы выровнять график и сделать так, чтобы и десятая фича по скорости реализации не сильно отставала от первой. Так при добавлении новых фич, следуя выбранному ранее подходу, перешли от быстрой разработки и быстрого тестирования к долгой разработке и долгому тестированию. Как это неудивительно, при равномерном разбиении и при разбиении 50 на 50 получаются одинаковые результаты. Максимально доступная длительность эксперимента — 90 дней. Если даты не будет, то эксперимент завершится автоматически после этого срока. Если система аналитики подключена корректно, на странице настроек появится информация о выбранном представлении.
С помощью инструментов для проведения сплит-тестирования эксперт в случайном порядке разделяет трафик между страницами A и B на две приблизительно равные части. Условно говоря, половина посетителей попадает на страницу A, а вторая половина на страницу B. Тогда для тестирования собирают команду, состоящую как минимум из аналитика и разработчика. Для теста обычно берут 2–30% от генеральной совокупности пользователей.
Установите продолжительность тестирования.
Запись сеанса отдельного посетителя также будет полезна. Она даст вам точное понимание того, что делает посетитель на конкретной странице сайта, что привлекает его внимание, а что не нравится или вводит его в заблуждение. Поэтому А/В-тестирование заголовка увеличит ваши шансы на то, что вы найдете тот вариант, который заставит людей чаще открывать ваши письма. Заголовок – первое, что видят люди, попадая на вашу главную страницу или лендинг.
- Как мы уже рекомендовали ранее, добавьте отслеживание дополнительных значений — их изменения тоже можно использовать в отчете и для составления дальнейших гипотез.
- Для компании по покупке автомобилей трафик параллельно направлялся и на сайт, и на квиз.
- Преждевременный просмотр результатов может испортить статистическую значимость.
- Они варьируются от визуальных инструментов «тепловых карт», таких как Вебвизор от Яндекс.Метрика, до инструментов опросов, таких как Typeform.
- Это поможет в дальнейшем собрать более полную картину исследования.
Респонденты делятся на равные и однородные группы, а затем оценивается, какой из вариантов оказался более успешным. Чтобы сравнить два варианта объекта, нужно сформулировать гипотезу, a/b тестирование определить метрики, рассчитать размер выборки, запустить тест и проанализировать результаты. A/B-тестирование — это неотъемлемая часть процесса работы над продуктом.
Алгоритм проведения A/B-тестирования
Для A/B-тестирования с другими метриками можно использовать другие калькуляторы. Они рассчитывают необходимый размер выборки, основываясь на том, какую точность вы хотите получить, какую погрешность можете допустить и какая у вас общая аудитория. Это определяется путем сравнения тестовых статистических данных (и полученного p-значения) с вашим уровнем значимости.
Необходимый размер выборки рассчитывается с помощью калькулятора A/Б-тестов. Однако, А/В-тестирование должно быть достаточно продолжительным, чтобы исключить вариант конвергенции результатов. Это происходит, когда вначале появляется существенная разница между двумя вариациями, но со временем уменьшается. Такое случается из-за изменений в предпочтениях людей в течении дня или недели. Также можно начать с вопроса «почему моя посадочная страница не приносит продаж?
Как провести A/B-тестирование
Трафик равномерно делится между двумя вариантами, и запускается A/B тест, который позволяет протестировать, может ли форма кнопок повлиять на конверсию. Бесплатный сервис «Калькулятор достоверности A/Б-тестирований» помогает высчитать нужный размер выборки для статистически достоверного эксперимента и подвести итоги. Введите цифры своего эксперимента — и увидите результат. АБ-тест позволяет сравнить несколько версий чего-либо (страницы сайта, рассылки и т.д.), чтобы проверить эффективность улучшений с помощью цифр. Выясняем, как и зачем тестировать разные варианты страниц и почему это критически важно для повышения конверсии и прибыльности сайта.
При параллельных тестах выборки не должны пересекаться, иначе одно изменение может изменить восприятие другого. Для такого случая существует A/B/n тестирование, которое имеет аналогичный принцип, что и сплит-тест, но может сравнивать одновременно больше двух альтернативных изменений одного объекта. Существует риск снижения рейтинга сайта в поисковых системах из-за того, что альтернативные страницы могут быть восприняты как дубли. Однако на практике к этому приводят только длительные эксперименты. Яндекс Директ позволяет проводить A/B-тестирование серии рекламных материалов с целю выбрать наиболее эффективные и организовать показ только самых кликабельных объявлений. Сделать это можно с помощью инструмента «Группы объявлений».
Настройка теста
Это создает контакт между существующими клиентами, уже оценившими качество оказываемых услуг, и потенциальными клиентами, еще раздумывающими по поводу приобретения товара. Повышается уровень доверия, а вместе с тем и шанс на конверсию. Некоторые пользователи, посещая сайт, ориентируются на мнение других людей.
Таким образом, минимизируется вероятность того, что пользователи изначально чем-то отличаются и данные по предстоящему A/B-тесту будут некорректны. Обратная ситуация, когда мы не видим реальных изменений. Часто бывает, что метрика просто реагирует на изменения недостатка данных (т.е. мало пользователей для анализа).