А/Б тест объявлений в Яндекс Директ

Комментарии

1. 

   pl_rk

   говорите, не смотреть на стр объявлений..
   а если у одного объявления 20 показов и 0 кликов, а у других при том же количестве показов стр 30%, 16%, 28%, то объявление с стр 0% все-равно оставлять?
   может вначале следует отсеивать объявления с низким стр, а потом среди оставшихся кликабельных объявлений проводить а/б тест?
   какой минимальный стр должен быть у объявления, чтобы оставаться в кампании? а какие вы отключаете?

   11 июля, 2016 в 13:06 Ответить ↓
   1. 

      Павел Рогов

      Здравствуйте!
      20 показов это мало.
      Думаю, что Вам нужно подождать хотя бы до 200 и только после этого значения принимать решение.

      Вообще есть такое понятие как статистическая значимость или статистическая достоверность.
      В статистике величину называют статисти́чески зна́чимой, если мала вероятность случайного возникновения этой величины или ещё более крайних величин.

      В интернете есть множество калькуляторов, которые считают статистическую достоверность A/Б тестов, можете воспользоваться ими.

      Что касается минимальной величины CTR то, задача найти объявление, которое будет приносить Вам максимальное количество прибыли/покупок/заказов, а не CTR.
      Поэтому решение об отключении объявлений нужно принимать, основываясь не на CTR, а на CPO.

      Стоимость заказа (англ. CPO — cost per order),
      также называемая стоимостью покупки — показатель производительности рекламы.

      Чем стоимость заказа меньше, тем это для Вас выгоднее,
      так как вы тратите меньше денег на рекламу и получаете больше заказов.

      13 июля, 2016 в 11:37 Ответить ↓
2. 

   Makarkin PRO

   Картинки 404 у вас при клике выдают. Но я о другом:

   Меняем в ссылке utm_content=test_1 на utm_content=test_2

   У меня такой хвост и так не больше данных будет собирать?utm_content=test1_{ad_id}_{phrase_id}_{retargeting_id}

   ps: это не утверждение, а вопрос.

   12 июля, 2016 в 16:03 Ответить ↓
   1. 

      Павел Рогов

      Здравствуйте!
      Если я правильно понял вопрос, то какие параметры Вы передаете в utm зависит от ваших целей.

      То есть если Вам нужно видеть
      {ad_id} — Идентификатор объявления
      {phrase_id} — Идентификатор ключевой фразы для текстово-графических объявлений или рекламы мобильных приложений
      То передавайте эти параметры.

      Но test_1 и test_2 для тестирования разных групп объявлений добавить все ровно нужно.

      13 июля, 2016 в 11:45 Ответить ↓
3. 

   Roman Popov

   Если отслеживаешь рекламную кампанию в яндекс метрике то UTM метками искажается статистика по источникам траффика . Поэтому проще использовать нативную пометку yclid , а вот есть способы чтобы сравнивать результаты A/B тестирования без UTM меток ?

   13 июля, 2016 в 17:10 Ответить ↓
4. 

   Владислав Владимирович

   С помощью вашего метода можно проверять только «кликабельность» объявлений. Когда мы создаем дополнительные объявления, то Яндекс стремится показывать объявление у которого CTR будет выше и для А/Б теста это вообще не подходит. https://yandex.ru/support/direct/features/ad-groups.xml

   Если нужно сделать тест, то он делается либо по принципу «Шахматки» (хотя это тоже не совсем корректный способ), либо копируется кампания без потери CTR и равный период тестируются две кампании с одинаковой семантикой, но разными объявлениями.

   14 июля, 2016 в 10:18 Ответить ↓
   1. 

      Владислав Владимирович

      «и равный период тестируются две кампании с одинаковой семантикой, но разными объявлениями.»
      В том смысле, что сначала мы 2 недели по одной кампании собираем статистику, затем 2 недели собираем статистику по второй кампании. Если за день мы собираем большое количество переходов, то тест можно провести за два дня. Главное, чтобы данных было достаточно.

      14 июля, 2016 в 11:21 Ответить ↓
      1. 

         По-Моему Темик

         С помощью твоего способа тоже можно получить не достоверные данные. От недели к неделе показатели могут сильно варьироваться, разве нет?

         18 августа, 2016 в 13:23 Ответить ↓
   2. 

      Павел Рогов

      Владислав, Вы правы в том что есть несколько способов тестирования, и каждый из них имеет свои особенности.
      Я описал один из них и он тоже работает, не смотря на то что со временем Яндекс отдает приоритет в показах объявлениям с большим CTR.

      15 июля, 2016 в 12:41 Ответить ↓
      1. 

         Владислав Владимирович

         В целом можно пользоваться конечно этим способом, но во многих случаях он может закончиться тем, что одно объявление у вас наберет 20 переходов и 0 конверсий, а второе — 100 и 4 конверсии.
         Тут можно сделать вывод, что второе объявление крутое, но по факту тест просто завален, так как оба объявления должны были набрать хотя бы по 100 кликов (лучше конечно больше).

         Этот способ не является удачным именно по этой причине, вы не контролируется процесс теста. Алгоритм в любой момент просто перестает показывать одно из объявлений и при этом конверсии у вас скорее всего еще не накопятся.

         Поэтому он в большей степени пригоден для тестирования привлекательности картинок в РСЯ.

         18 июля, 2016 в 15:08 Ответить ↓
5. 

   Поль Август

   Если нажать на картинку, то перекидывает на 404 ошибку.

   14 июля, 2016 в 10:59 Ответить ↓
   1. 

      Павел Рогов

      Я сообщил коллегам, они поправят. Спасибо!

      15 июля, 2016 в 13:02 Ответить ↓
6. 

   По-Моему Темик

   Не совсем согласен с тем, что нужно сразу судить по CPO. Не во всех случаях измененный текст или картинка могут достаточно сильно повлиять на конверсию, чтобы можно было делать выводы. Прежде всего изменение текста и картинки влияет на ctr, при чем ctr как правило более стабильный показатель, колебания незначительны и результат легко заметить. Если добились того, что ctr вырос, то тут же проверяем конверсию, cpl и cpo, если они не стали хуже, то все в порядке. Возможно я не прав — буду рад, если расскажете почему.

   18 августа, 2016 в 13:31 Ответить ↓
7. 

   Вадим Ворон

   Вы ювелиры! Спасибо огромное за статью, все так просто)

   19 апреля, 2017 в 13:07 Ответить ↓
8. 

   Dmitry K

   Подскажите, пожалуйста, где делаю ошибку. Если делаю по этому методу в РК где в группе несколько ключей, создаётся несколько одинаковых объявлений. (Понятно, что можно либо удалить лишние, либо удалить строки , но есть ли более быстрый способ этого избежать)

   01 сентября, 2017 в 17:48 Ответить ↓
9. 

   Наталья

   Спасибо большое за статью! Подскажите , а как выбрать специалиста по яндекс директу, какое дать тестовое задание, чтобы понять, разбирается в этом человек или нет?

   08 июля, 2022 в 15:48 Ответить ↓