Гайд по экспериментам
в Яндекс.Директе: как подготовить, запустить и оценить результат

В марте этого года Яндекс выпустил в общий доступ Эксперименты. А вместе с ними в Директе появился новый подход к А/Б-тестированию. Мы получили доступ к инструменту еще за год до этого, поэтому успели тщательно протестировать и разобраться. В статье поделимся опытом и впечатлениями, а также подробной инструкцией по запуску экспериментов в Яндекс.Директе.

Как работают эксперименты в Яндекс.Директе

A/Б-тестирование — простой способ проверить, как изменения в рекламе отразятся на результатах продвижения. При прочих равных условиях мы показываем аудитории несколько вариантов какого-то элемента рекламы или сайта. Например, заголовка или текста объявления. Посмотрев на статистику, можно выяснить, какой из вариантов больше нравится целевым пользователям.

Допустим, у вас есть две концепции офферов для рекламных объявлений. В одной вы делаете акцент на бесплатной доставке и скидках, в другой — на качестве товаров и хорошем сервисе. Нужно понять, какая сработает лучше — принесет больше трафика с меньшей стоимостью кликов и лидов.
Раньше вам бы пришлось использовать «костыли». Создавать две рекламные кампании и настраивать график показов методом «шахматки», чтобы они поочередно запускались и останавливались с периодичностью в один час. Или в течение месяца крутить одну кампанию, а в течение следующего — другую. И сравнивать результаты. Эти методы А/Б-тестирования активно использовались, но имели недостатки:

• В разные часы дня активность разная, поэтому данные «шахматки» не совсем репрезентативны.
• Постоянные запуски и остановки кампаний негативно влияют на оптимизацию рекламы внутри Яндекса.
• Чтобы сделать хотя бы какие-то выводы, нужно много времени — посмотреть статистику и оценить результаты в режиме реального времени не получится.

Так выглядит график показов при А/Б-тестировании методом «шахматки»

Теперь для таких А/Б-тестов в Яндекс.Директе есть специальный инструмент. С его помощью система может разделить вашу аудиторию на случайные непересекающиеся сегменты — два или больше. Размер сегментов рекламодатель определяет сам — от 1 до 99 %. При этом для разных сегментов можно указать разную долю трафика.
Тестируемые кампании нацеливаются на конкретный экспериментальный сегмент в настройках. Это не помешает использовать и другие таргетинги. Так, можно нацелить кампанию на экспериментальный сегмент в 50 % аудитории и настроить показы на пользователей смартфонов 25–34 лет. Рекламу увидят 50 % вашей мобильной аудитории в возрасте от 25 до 34 лет.
Главные достоинства Экспериментов:

• Можно сравнивать любые настройки, типы кампаний и даже медиапланы.
• Легко провести полноценный эксперимент с делением аудитории 50 на 50 и выбрать лучший вариант после завершения тестирования.

Читайте также: Показы по синонимам в Яндекс.Директе: как отследить и взять под контроль

Какие задачи можно решать с помощью экспериментов

Сравнение двух концепций для офферов — лишь один из способов использования Экспериментов. С помощью инструмента в Яндекс.Директе можно сравнивать друг с другом любые элементы объявлений и настройки рекламных кампаний. Так, вы можете запустить эксперимент, чтобы:

• Определить, какая семантика лучше подходит для ваших целей. У вас есть кампания, в которой собраны высокочастотные и среднечастотные запросы, однако цена цели вас не устраивает. Вы предполагаете, что если проработаете и явно пропишете в кампании низкочастотные ключи, убрав высокочастотные, достижение целей будет обходиться дешевле.
• Сравнить ручное управление с автостратегиями. Не так давно Яндекс выпустил новую стратегию управления ставками с оплатой за конверсии. Вы не уверены, что она позволит получать заявки дешевле, чем с ручным управлением ставками.
• Выявить заголовок или текст объявления с наибольшими CTR и конверсией, наименьшими ценой клика и цели. К примеру, вы взяли на ведение кампанию, которую настраивал сам клиент. И предлагаете заменить в объявлениях «приятные цены и высокое качество» на более конкретные и понятные для покупателей преимущества.
• Протестировать разные подходы к созданию объявлений, работе с минус-словами, группировке запросов. Ключевые слова в кампании сгруппированы по принципу семантической схожести, но клики получаются довольно дорогие. Вы предполагаете, что метод SKAG, когда в каждую группу прописывается один запрос в трех типах соответствия, поможет снизить стоимость клика и заявки.
• Посмотреть, какой тип кампаний приносит больше конверсий. Вы используете обычные текстово-графические объявления для рекламы в РСЯ, но предполагаете, что добавив изображение или видеодополнение, сможете увеличить количество переходов. Нужно определить, что в вашем случае сработает лучше — статичная картинка или видео.

По аналогии можно проверять практически любые гипотезы, чтобы принимать решения на основе данных.

Важно: Эксперименты в Яндекс.Директе касаются непосредственно элементов и настроек рекламной системы. Поэтому тестировать с их помощью офферы в объявлениях удобно, а для посадочной страницы лучше использовать инструменты, которые позволят провести эксперимент со всем трафиком, например, Google Optimize.

Инструкция: проводим эксперимент в Яндекс.Директе

Эксперимент с рекламными кампаниями проводится в 3 этапа: подготовка, тестирование, оценка результата.
Рассмотрим каждый из них подробнее и покажем весь процесс на примере конкретного проекта — юридической компании, которая помогает иммигрантам получать документы, чтобы легально жить и работать в России.

Что нужно для запуска эксперимента

На подготовительном этапе нужно проверить, соблюдены ли все необходимые условия, а также подключить и настроить то, чего не хватает.
Чтобы провести корректный эксперимент и получить репрезентативные результаты, на основе которых можно будет делать выводы, нам понадобятся:

1. Гипотеза, которую мы хотим проверить.
2. Счетчики Яндекс.Метрики, привязанные к тестируемой кампании и ее копиям, которые мы сделаем для эксперимента.
3. Настроенные цели в Яндекс.Метрике или eCommerce-действия, если тестируем кампании интернет-магазина.

Последний пункт необязателен, но на деле проводить эксперимент без оценки конверсий чаще всего бывает нецелесообразно.mark

Читайте также: Рекламная кампания для интернет-магазина за 2 часа: автоматизируем рутину

На проекте нашего клиента — юридической кампании мы тестировали изменение заголовков. В кампании для услуги помощи в получении вида на жительство использовались одинаковые заголовки во всех объявлениях, ключевые слова в них входили не полностью. Я предположил, что адаптация всех заголовков под поисковые запросы позволит:

• повысить CTR;
• снизить стоимость клика и цену цели;
• увеличить коэффициент и количество конверсий.

Все остальное у нас уже было готово — счетчики подключены, цели настроены. Можно переходить к запуску эксперимента.

Как запустить эксперимент в Яндекс.Директе

Для запуска эксперимента нам понадобятся два сервиса — Яндекс.Аудитории, чтобы настроить сегменты, и Яндекс.Директ, чтобы подключить к эксперименту рекламные кампании.
Создаем эксперимент в Яндекс.Аудиториях. Для этого открываем сервис, переходим на вкладку «Эксперименты» и кликаем «Создать эксперимент». В открывшемся окне заполняем поля:

• вводим название эксперимента;
• указываем счетчик Метрики, к которому привязана тестируемая кампания;
• настраиваем процентное соотношение сегментов так, чтобы сумме получилось 100 % (у нас 50/50);
• даем сегментам название, чтобы было удобнее интерпретировать в отчетах.

Счетчиков Метрики может быть несколько.

Кликаем «Создать эксперимент»

Настраиваем эксперимент в Яндекс.Директе.

1. Делаем копии кампании, которую будем тестировать. Количество копий равняется количеству сегментов, которые мы добавили в эксперимент в Яндекс.Аудиториях. Все кампании должны быть остановлены.
2. Вносим изменения и настраиваем копии кампании. Одну оставляем без изменений, в остальных изменяем нужный параметр в соответствии с гипотезой. В нашем случае — заменяем заголовки объявлений на варианты с вхождением ключевых фраз. В остальном кампании должны быть идентичны.
3. Во все кампании добавляем счетчики Метрики, которые мы указали в настройках эксперимента.
4. Подключаем кампании к эксперименту. После добавления счетчика Метрики в блоке «Эксперименты» раздела «Дополнительные параметры» появятся доступные эксперименты — те, которые мы создали Яндекс.Аудиториях для этого счетчика. Чтобы подключить кампанию, активируем переключатель «Таргетинг по сегментам», отмечаем нужный эксперимент и сегмент, которому будем показывать эту кампанию.

   

   При необходимости можно задать для сегмента корректировку ставок

5. Одновременно останавливаем исходную кампанию и запускаем копии.

Эксперимент запущен. Осталось подождать, пока кампании накопят статистику, достаточную для корректной оценки результатов. Яндекс рекомендует делать первые выводы не раньше, чем через две недели.

Как проанализировать результаты эксперимента

Вместе с выпуском в общий доступ Экспериментов Яндекс анонсировал и специальный отчет Яндекс.Метрики, который помогает оценивать их результаты. Чтобы его открыть, зайдите в Метрику и перейдите «Отчеты» → «Стандартные отчеты» → «Источники» → «Директ, Эксперименты».

Открываем отчет по Экспериментам в Яндекс.Метрике

Также перейти к отчету можно из Яндекс.Аудиторий. Кликните на кнопку «Результаты» напротив того эксперимента, который нужно проанализировать.

По клику в новом окне откроется Яндекс.Метрика

Яндекс рекомендует создать в отчете по экспериментам сегмент со всеми экспериментальными кампаниями, чтобы отсечь визиты, которые не имеют к нему отношения. Например, визиты пользователей, которые попали в сегменты Яндекс.Аудиторий, но перешли на сайт не по рекламе.

В специальном отчете мы можем сравнивать кампании по просмотрам, посетителям, целевым визитам и посетителям, достижениям цели, конверсии и другим показателям. Полный список — в справке Яндекс.Метрики.

Показатели, по которым можно сравнивать результаты эксперимента

Чтобы сформировать отчет:

1. Выберите в выпадающем списке нужный эксперимент.
2. Выберите созданный сегмент с экспериментальными рекламными кампаниями.
3. Перейдите в режим сравнения и выберите контрольную группу — ту, с которой нужно сравнить результаты остальных. У нас это будет кампания с одинаковыми заголовками.

   

   Настраиваем режим сравнения

4. Добавьте в отчет метрики, по которым нужно сравнить кампании. Также можно добавить ранее настроенные цели.

Если данных достаточно для того, чтобы делать выводы, и выбранные метрики доступны для сравнения, система подсветит показатели тестируемой кампании цветами:

• Красный или зеленый — если они значимо хуже или лучше показателей контрольной группы.
• Серым — если отличие между сравниваемыми кампаниями несущественно.

Когда доступных для сравнения показателей недостаточно (как в нашем случае — помимо конверсии нам нужны CTR, стоимость клика и цена цели), потребуются данные из Мастера Отчетов в Яндекс.Директе. Мы свели их с данными из метрики вот в такую табличку:

Оцениваем результаты эксперимента в Google Таблице

Как видите, в нашем случае эксперимент оказался удачным:mark

• CTR увеличился на 53 %;
• Стоимость клика изменилась незначительно, зато цена цели снизилась на 32 %;
• Коэффициент конверсии оказался на 41 % выше, и мы получили в 2 раза больше конверсий.

Также удобно использовать Калькулятор достоверности А/Б-тестирования Яндекса. Туда можно внести информацию о расходах, количестве конверсий и кликов, чтобы сравнить CPA, а также настроить целевой уровень значимости результатов эксперимента (p-value).

Калькулятор также выделяет цветом значимые отличия и дает ответ на вопрос — стоит ли внедрять тестируемые изменения

В нашем примере мы получили положительный ответ, остановили эксперимент и запустили новую кампанию на 100 % трафика.

Как завершить эксперимент

Чтобы остановить эксперимент:

1. Одновременно остановите все экспериментальные кампании.
2. Отвяжите эксперимент от той, которую вы хотите запустить в качестве основной. Для этого снимите галочку в «Эксперименты» раздела "Дополнительные параметры.
3. Проверьте настройки таргетинга и запустите успешную кампанию.

Как отредактировать и удалить эксперимент в Яндекс.Директе

Чтобы удалить эксперимент, сначала его нужно остановить и отвязать от него все рекламные кампании.
После создания эксперимента можно:

• редактировать названия эксперимента и сегментов;
• добавлять новые счетчики Метрики.

Удалить добавленные счетчики не получится. Также нельзя удалять и создавать сегменты. Если вы запустили эксперимент и поняли, что нужно внести такие изменения, придется завершать его и создавать заново.

Три важные вещи напоследок

• Нельзя запускать новую кампанию в эксперимент со старой. Старая уже работала какое-то время. На ней накопилась статистика, на основе которой Яндекс.Директ ее оптимизировал и позиционирует по качеству объявлений, а в новых кампаниях используется прогнозный CTR. Нужно, чтобы тестируемые кампании были в равных условиях, иначе будет погрешность
• Тестировать лучше что-то одно. Или концепцию офферов, или ключи в заголовках или автостратегию с оплатой за конверсии — но не все вместе. Иначе будет непонятно что именно повлияло на изменения.
• Новинки и рискованные гипотезы лучше тестировать на небольшую долю аудитории. Сомневаетесь как сработает автотаргетинг в вашей тематике? Запустите его на 20% аудитории и оцените результат.

Вот, пожалуй, и все, что мы хотели сегодня сказать. А вы используете эксперименты в своих проектах? Делитесь интересными кейсами в комментариях.