Что такое А/В тестирование и как его проводить?

На важных этапах создания продукта возникают разные варианты его конечного использования. В А/В тестировании это называется гипотезой. Вариативность использования продукта, его визуальной составляющей или порядка прохождения регистрации помогают маркетологам и продуктологам выявить для себя наиболее рабочий вариант. Давайте выясним, как сравнение двух (и более) гипотез помогает сделать качественный и проверенный продукт.

Существуют всего 2 способа увеличить доход с сайта: повышение трафика и увеличение конверсии.

На первом этапе, конечно же, нужен трафик. Нет трафика - нет заявок. Сделать сразу красивый и навороченный сайт без запуска рекламы - это все равно что построить современный гипермаркет в пустыне.

Вот вам простой тест, который очень любит рассказывать Олег Горячо. Допустим, ваша конверсия 1%, а с каждой продажи вы зарабатываете $100, тогда
если вы привлекаете 10 000 человек
10 000 х $100 x 1% = $10 000,
т.е. вы заработаете 10 000 долларов

если 100 человек
100 х $100 x 1% = $100 или 0,
вы заработаете 100 долларов или ничего.

Поэтому, на первом этапе вы должны вкладываться именно в привлечение посетителей. Как только посетителей становится достаточно, настало время выжать больше продаж. Это легко сделать при помощи A/B теста.

Что нужно для проведения А/В тестирования?

Прежде всего - наличие двух и более гипотез. Только при появлении нескольких вариантов мы можем начать операцию по выявлению лучшего для пользователя и покупателя.

На каких этапах могут появляться гипотезы для А/В тестирования?

• На этапе дизайна. Красная или белая кнопка? Какой шрифт более читабельный? Сколько СТА (призывов к действию) можно расположить на первых двух экранах? Все эти вопросы возникают именно на этапе подготовки дизайн-макета. Если дизайнер работает в связке с маркетологами или продакт-менеджерами, стоит сразу составить дополнительные макеты для дальнейшего проведения тестов.
• На этапе копирайтинга. Это особенно актуально для новых продуктов - какой tone of voice выбрать? Лонгрид или короткий экскурс в историю продукта? Вариативность текстовой составляющей может способствовать появлению гипотез, которые будет полезно проверить.
• На этапе согласования. Это касается прежде всего работы агентств с клиентами. Очень часто могут возникать спорные ситуации по визуалу, текстам и структуре сайтов - проверить, чья гипотеза лучше поможет A/В тестирование.
• На этапе тестирования продукта. Такая ситуация скорее призывает выявить гипотезу. Если какой-то элемент конечного продукта показывает результаты ниже желаемых, можно попробовать провести эксперимент с другими вариантами составляющих.
• На этапе продолжительной работы продукта. В этом случае необходимость А/В тестирования заключается в “стопе” на каком-то из этапов воронки продаж. Например, если ваши посетители сайта не заканчивают регистрацию или оставляют корзину без оформления заказа.

Рис.2. Ошибки в воронке продаж могут привести к плачевным показателям.

A/В тестирование - процесс, который на самом деле куда сложнее, чем может показаться на первый взгляд. Итак, давайте разберемся, с чего начать тестирование, если гипотезы уже есть.

С чем стоит определиться перед началом А/В тестирования?

1. Формат гипотезы. В А/В тестировании существует несколько вариантов гипотез. Первый - это нулевая гипотеза, при которой варианты А и В не отличаются друг от друга, а наблюдаемые различия - случайность. Обычно, цель таких гипотез в их опровержении. Второй вариант - альтернативная гипотеза, при которой вариант В отличается от варианта А, и ваша цель - это доказать.

2. Метрика. Каждый элемент сайта или составляющая продукта имеет свои метрики и основные показатели. Не пренебрегайте этим пунктом - именно грамотно определенные показатели помогут вам четко разобраться в итогах А/В тестирования.

3. Аудитория. В А/В тестировании есть контрольная и экспериментальная группы. Для начала, определите, какая аудитория попадет под ваши критерии тестирования гипотез: география, действия, возраст и т.п. Из выбранной вами аудитории уже можно сегментировать группы: контрольная группа будет видеть версию А, а экспериментальная - версию В. Убедитесь, что ваши группы будут видеть версии А и В в случайном порядке.

4. Уровень риска при отклонении нулевой гипотезы. Это необходимо для процентного показателя, который будет говорить о случайном отклонении. Т.е. при уровне риска в 0,1 только 10% случаев различия между версиями А и В будут случайностью.

5. Выборка и время тестирования. Большая выборка будет полезна для статистически важных результатов. Время тестирования зависит от вашего ежедневного трафика - выборку необходимо разделить на этот показатель - так вы увидите количество дней, нужных для проведения качественного А/В теста.

После того, как вы определились со всеми важными показателями, сделали версию В и подготовили данные для тестирования - начинайте эксперимент! Лучше всего проводить его на закрытой тестовой площадке (если есть такая возможность). Внимательно отслеживайте промежуточные результаты и заносите их в таблицу А/В тестирования. Анализ итоговых данных подскажет вам, какая из гипотез оказалась верна, а какая потерпела поражение.

Какие сервисы нужны для проведения А/В тестирования?

К счастью для маркетологов, практически все площадки сейчас оснащены возможностью А/В тестирования: почтовые сервисы, социальные сети и myTarget, CMS интернет-магазинов позволяют проводить тесты не выходя из программы. Мы составили для вас список сервисов, которые помогут собрать дополнительные данные, провести интересные эксперименты или просто дадут возможность сделать A/В тест с площадками, в которых нет внутренних возможностей.

1. Google Оптимизация. Самый популярный (и бесплатный для малого бизнеса!) инструмент для A/В тестирования. Удобство сервиса заключается в привязке аналитики самого Google, точной статистике и расширенном таргетинге. Найти Google Оптимизацию можно по ссылке или на платформе для маркетологов  Google Marketing Platform.

2. Unbounce.com. Англоязычный конструктор лендингов с возможностью проведения сплит-тестирования. Удобная статистика и большой выбор вариантов проведения теста.

3. LPGenerator. Русскоязычный конструктор для лендингов с аналогичной возможностью проведения тестов. К сожалению, тестировать можно только лендинги, созданные на платформе.

4. VWO.com. Удобный калькулятор, который поможет рассчитать оптимальную продолжительность проведения тестирования. На главной странице сервиса есть регистрация для проверки отдельных элементов сайта (только для этого необходимо знание HTML).

5. RealROI. Сервис для онлайн-тестирования сайтов, лендингов и интернет-магазинов. 

6. A/В Test Simple Size Calculator. Удобный калькулятор для подсчета размера выборки, необходимой для каждой версии. 

7. A/B Tasty. Еще один неплохой калькулятор для расчета минимальной выборки для сплит-тестирования.

Создавайте гипотезы, не бойтесь экспериментировать и внимательно изучайте результаты. Успешных вам А/В тестов!

Выводы:

Для того, чтобы провести эффективный А/Б тест нужно:

1) Выдвинуть гипотезу (используйте литературу, вордстат, банки готовых идей для тестов).
2) Проверить ее на посетителях при помощи опроса.
3) Правильно настроить тест (при помощи сервисов по тестированию) и счетчик аналитики.
4) Протестировать идею на большом объеме трафика.
5) Проанализировать результат.
6) Сделать оптимизацию конверсии цикличным процессом.

Понравилась статья? Поставь лайк!
Что то забыл? Или неверно указал?
Напиши в комментарии к этому посту.