mark

В марте этого года Яндекс выпустил в общий доступ Эксперименты. А вместе с ними в Директе появился новый подход к А/Б-тестированию. Мы получили доступ к инструменту еще за год до этого, поэтому успели тщательно протестировать и разобраться. В статье поделимся опытом и впечатлениями, а также подробной инструкцией по запуску экспериментов в Яндекс.Директе.

Как работают эксперименты в Яндекс.Директе

A/Б-тестирование — простой способ проверить, как изменения в рекламе отразятся на результатах продвижения. При прочих равных условиях мы показываем аудитории несколько вариантов какого-то элемента рекламы или сайта. Например, заголовка или текста объявления. Посмотрев на статистику, можно выяснить, какой из вариантов больше нравится целевым пользователям.

Допустим, у вас есть две концепции офферов для рекламных объявлений. В одной вы делаете акцент на бесплатной доставке и скидках, в другой — на качестве товаров и хорошем сервисе. Нужно понять, какая сработает лучше — принесет больше трафика с меньшей стоимостью кликов и лидов.
Раньше вам бы пришлось использовать «костыли». Создавать две рекламные кампании и настраивать график показов методом «шахматки», чтобы они поочередно запускались и останавливались с периодичностью в один час. Или в течение месяца крутить одну кампанию, а в течение следующего — другую. И сравнивать результаты. Эти методы А/Б-тестирования активно использовались, но имели недостатки:

  • В разные часы дня активность разная, поэтому данные «шахматки» не совсем репрезентативны.
  • Постоянные запуски и остановки кампаний негативно влияют на оптимизацию рекламы внутри Яндекса.
  • Чтобы сделать хотя бы какие-то выводы, нужно много времени — посмотреть статистику и оценить результаты в режиме реального времени не получится.

Так выглядит график показов при А/Б-тестировании методом «шахматки»

Теперь для таких А/Б-тестов в Яндекс.Директе есть специальный инструмент. С его помощью система может разделить вашу аудиторию на случайные непересекающиеся сегменты — два или больше. Размер сегментов рекламодатель определяет сам — от 1 до 99 %. При этом для разных сегментов можно указать разную долю трафика.
Тестируемые кампании нацеливаются на конкретный экспериментальный сегмент в настройках. Это не помешает использовать и другие таргетинги. Так, можно нацелить кампанию на экспериментальный сегмент в 50 % аудитории и настроить показы на пользователей смартфонов 25–34 лет. Рекламу увидят 50 % вашей мобильной аудитории в возрасте от 25 до 34 лет.
Главные достоинства Экспериментов:

  • Можно сравнивать любые настройки, типы кампаний и даже медиапланы.
  • Легко провести полноценный эксперимент с делением аудитории 50 на 50 и выбрать лучший вариант после завершения тестирования.

Читайте также: Показы по синонимам в Яндекс.Директе: как отследить и взять под контроль

Какие задачи можно решать с помощью экспериментов

Сравнение двух концепций для офферов — лишь один из способов использования Экспериментов. С помощью инструмента в Яндекс.Директе можно сравнивать друг с другом любые элементы объявлений и настройки рекламных кампаний. Так, вы можете запустить эксперимент, чтобы:

  • Определить, какая семантика лучше подходит для ваших целей. У вас есть кампания, в которой собраны высокочастотные и среднечастотные запросы, однако цена цели вас не устраивает. Вы предполагаете, что если проработаете и явно пропишете в кампании низкочастотные ключи, убрав высокочастотные, достижение целей будет обходиться дешевле.
  • Сравнить ручное управление с автостратегиями. Не так давно Яндекс выпустил новую стратегию управления ставками с оплатой за конверсии. Вы не уверены, что она позволит получать заявки дешевле, чем с ручным управлением ставками.
  • Выявить заголовок или текст объявления с наибольшими CTR и конверсией, наименьшими ценой клика и цели. К примеру, вы взяли на ведение кампанию, которую настраивал сам клиент. И предлагаете заменить в объявлениях «приятные цены и высокое качество» на более конкретные и понятные для покупателей преимущества.
  • Протестировать разные подходы к созданию объявлений, работе с минус-словами, группировке запросов. Ключевые слова в кампании сгруппированы по принципу семантической схожести, но клики получаются довольно дорогие. Вы предполагаете, что метод SKAG, когда в каждую группу прописывается один запрос в трех типах соответствия, поможет снизить стоимость клика и заявки.
  • Посмотреть, какой тип кампаний приносит больше конверсий. Вы используете обычные текстово-графические объявления для рекламы в РСЯ, но предполагаете, что добавив изображение или видеодополнение, сможете увеличить количество переходов. Нужно определить, что в вашем случае сработает лучше — статичная картинка или видео.

По аналогии можно проверять практически любые гипотезы, чтобы принимать решения на основе данных.

Важно: Эксперименты в Яндекс.Директе касаются непосредственно элементов и настроек рекламной системы. Поэтому тестировать с их помощью офферы в объявлениях удобно, а для посадочной страницы лучше использовать инструменты, которые позволят провести эксперимент со всем трафиком, например, Google Optimize.

Инструкция: проводим эксперимент в Яндекс.Директе

Эксперимент с рекламными кампаниями проводится в 3 этапа: подготовка, тестирование, оценка результата.
Рассмотрим каждый из них подробнее и покажем весь процесс на примере конкретного проекта — юридической компании, которая помогает иммигрантам получать документы, чтобы легально жить и работать в России.

Что нужно для запуска эксперимента

На подготовительном этапе нужно проверить, соблюдены ли все необходимые условия, а также подключить и настроить то, чего не хватает.
Чтобы провести корректный эксперимент и получить репрезентативные результаты, на основе которых можно будет делать выводы, нам понадобятся:

  1. Гипотеза, которую мы хотим проверить.
  2. Счетчики Яндекс.Метрики, привязанные к тестируемой кампании и ее копиям, которые мы сделаем для эксперимента.
  3. Настроенные цели в Яндекс.Метрике или eCommerce-действия, если тестируем кампании интернет-магазина.

Последний пункт необязателен, но на деле проводить эксперимент без оценки конверсий чаще всего бывает нецелесообразно.mark

Читайте также: Рекламная кампания для интернет-магазина за 2 часа: автоматизируем рутину

На проекте нашего клиента — юридической кампании мы тестировали изменение заголовков. В кампании для услуги помощи в получении вида на жительство использовались одинаковые заголовки во всех объявлениях, ключевые слова в них входили не полностью. Я предположил, что адаптация всех заголовков под поисковые запросы позволит:

  • повысить CTR;
  • снизить стоимость клика и цену цели;
  • увеличить коэффициент и количество конверсий.

Все остальное у нас уже было готово — счетчики подключены, цели настроены. Можно переходить к запуску эксперимента.

Как запустить эксперимент в Яндекс.Директе

Для запуска эксперимента нам понадобятся два сервиса — Яндекс.Аудитории, чтобы настроить сегменты, и Яндекс.Директ, чтобы подключить к эксперименту рекламные кампании.
Создаем эксперимент в Яндекс.Аудиториях. Для этого открываем сервис, переходим на вкладку «Эксперименты» и кликаем «Создать эксперимент». В открывшемся окне заполняем поля:

  • вводим название эксперимента;
  • указываем счетчик Метрики, к которому привязана тестируемая кампания;
  • настраиваем процентное соотношение сегментов так, чтобы сумме получилось 100 % (у нас 50/50);
  • даем сегментам название, чтобы было удобнее интерпретировать в отчетах.

Счетчиков Метрики может быть несколько.

Кликаем «Создать эксперимент»

Настраиваем эксперимент в Яндекс.Директе.

  1. Делаем копии кампании, которую будем тестировать. Количество копий равняется количеству сегментов, которые мы добавили в эксперимент в Яндекс.Аудиториях. Все кампании должны быть остановлены.
  2. Вносим изменения и настраиваем копии кампании. Одну оставляем без изменений, в остальных изменяем нужный параметр в соответствии с гипотезой. В нашем случае — заменяем заголовки объявлений на варианты с вхождением ключевых фраз. В остальном кампании должны быть идентичны.
  3. Во все кампании добавляем счетчики Метрики, которые мы указали в настройках эксперимента.
  4. Подключаем кампании к эксперименту. После добавления счетчика Метрики в блоке «Эксперименты» раздела «Дополнительные параметры» появятся доступные эксперименты — те, которые мы создали Яндекс.Аудиториях для этого счетчика. Чтобы подключить кампанию, активируем переключатель «Таргетинг по сегментам», отмечаем нужный эксперимент и сегмент, которому будем показывать эту кампанию.

    При необходимости можно задать для сегмента корректировку ставок

  5. Одновременно останавливаем исходную кампанию и запускаем копии.

Эксперимент запущен. Осталось подождать, пока кампании накопят статистику, достаточную для корректной оценки результатов. Яндекс рекомендует делать первые выводы не раньше, чем через две недели.

2 недели бесплатно

Сеодроид автоматизирует контекстную рекламу, чтобы сэкономить ваше время и деньги

Бид-менеджер автоматически корректирует ставки в Яндекс.Директе, чтобы вы не переплачивали за клики. Контролирует списываемую цену и снижает ставки.mark

Стратегии помогают получить оптимальный объем трафика и уложиться в бюджет. А еще — автоматически запускать и останавливать объявления в зависимости от дня недели, времени суток, CTR, количества кликов — всего 29 переменных.

Попробуйте автоматизировать рутину — 14 дней бесплатно.

Протестировать Сеодроид

Как проанализировать результаты эксперимента

Вместе с выпуском в общий доступ Экспериментов Яндекс анонсировал и специальный отчет Яндекс.Метрики, который помогает оценивать их результаты. Чтобы его открыть, зайдите в Метрику и перейдите «Отчеты» → «Стандартные отчеты» → «Источники» → «Директ, Эксперименты».

Открываем отчет по Экспериментам в Яндекс.Метрике

Также перейти к отчету можно из Яндекс.Аудиторий. Кликните на кнопку «Результаты» напротив того эксперимента, который нужно проанализировать.

По клику в новом окне откроется Яндекс.Метрика

Яндекс рекомендует создать в отчете по экспериментам сегмент со всеми экспериментальными кампаниями, чтобы отсечь визиты, которые не имеют к нему отношения. Например, визиты пользователей, которые попали в сегменты Яндекс.Аудиторий, но перешли на сайт не по рекламе.

В специальном отчете мы можем сравнивать кампании по просмотрам, посетителям, целевым визитам и посетителям, достижениям цели, конверсии и другим показателям. Полный список — в справке Яндекс.Метрики.

Показатели, по которым можно сравнивать результаты эксперимента

Чтобы сформировать отчет:

  1. Выберите в выпадающем списке нужный эксперимент.
  2. Выберите созданный сегмент с экспериментальными рекламными кампаниями.
  3. Перейдите в режим сравнения и выберите контрольную группу — ту, с которой нужно сравнить результаты остальных. У нас это будет кампания с одинаковыми заголовками.

    Настраиваем режим сравнения

  4. Добавьте в отчет метрики, по которым нужно сравнить кампании. Также можно добавить ранее настроенные цели.

Если данных достаточно для того, чтобы делать выводы, и выбранные метрики доступны для сравнения, система подсветит показатели тестируемой кампании цветами:

  • Красный или зеленый — если они значимо хуже или лучше показателей контрольной группы.
  • Серым — если отличие между сравниваемыми кампаниями несущественно.

Когда доступных для сравнения показателей недостаточно (как в нашем случае — помимо конверсии нам нужны CTR, стоимость клика и цена цели), потребуются данные из Мастера Отчетов в Яндекс.Директе. Мы свели их с данными из метрики вот в такую табличку:

Оцениваем результаты эксперимента в Google Таблице

Как видите, в нашем случае эксперимент оказался удачным:mark

  • CTR увеличился на 53 %;
  • Стоимость клика изменилась незначительно, зато цена цели снизилась на 32 %;
  • Коэффициент конверсии оказался на 41 % выше, и мы получили в 2 раза больше конверсий.

Также удобно использовать Калькулятор достоверности А/Б-тестирования Яндекса. Туда можно внести информацию о расходах, количестве конверсий и кликов, чтобы сравнить CPA, а также настроить целевой уровень значимости результатов эксперимента (p-value).

Калькулятор также выделяет цветом значимые отличия и дает ответ на вопрос — стоит ли внедрять тестируемые изменения

В нашем примере мы получили положительный ответ, остановили эксперимент и запустили новую кампанию на 100 % трафика.

Как завершить эксперимент

Чтобы остановить эксперимент:

  1. Одновременно остановите все экспериментальные кампании.
  2. Отвяжите эксперимент от той, которую вы хотите запустить в качестве основной. Для этого снимите галочку в «Эксперименты» раздела "Дополнительные параметры.
  3. Проверьте настройки таргетинга и запустите успешную кампанию.

Как отредактировать и удалить эксперимент в Яндекс.Директе

Чтобы удалить эксперимент, сначала его нужно остановить и отвязать от него все рекламные кампании.
После создания эксперимента можно:

  • редактировать названия эксперимента и сегментов;
  • добавлять новые счетчики Метрики.

Удалить добавленные счетчики не получится. Также нельзя удалять и создавать сегменты. Если вы запустили эксперимент и поняли, что нужно внести такие изменения, придется завершать его и создавать заново.

Три важные вещи напоследок

  • Нельзя запускать новую кампанию в эксперимент со старой. Старая уже работала какое-то время. На ней накопилась статистика, на основе которой Яндекс.Директ ее оптимизировал и позиционирует по качеству объявлений, а в новых кампаниях используется прогнозный CTR. Нужно, чтобы тестируемые кампании были в равных условиях, иначе будет погрешность
  • Тестировать лучше что-то одно. Или концепцию офферов, или ключи в заголовках или автостратегию с оплатой за конверсии — но не все вместе. Иначе будет непонятно что именно повлияло на изменения.
  • Новинки и рискованные гипотезы лучше тестировать на небольшую долю аудитории. Сомневаетесь как сработает автотаргетинг в вашей тематике? Запустите его на 20% аудитории и оцените результат.

Вот, пожалуй, и все, что мы хотели сегодня сказать. А вы используете эксперименты в своих проектах? Делитесь интересными кейсами в комментариях.

Сеодроид — система управления контекстной рекламой

  • Корректирует ставки
  • Контролирует расходы
  • Автоматизирует рутину

Попробовать 14 дней бесплатно

mark

Добавить комментарий

Ваш адрес email не будет опубликован.