Кейс eLama и «Яндекса»: после A/B-теста 80% рекламодателей остались с автостратегиями «Директа»
Менеджеры eLama по развитию часто сталкиваются с отказом рекламодателей протестировать автостратегии в «Яндекс Директе». Клиенты не понимают, что у стратегий «под капотом» и как они работают, а еще боятся потерять контроль над рекламными кампаниями. Поэтому осенью 2021 года специалисты eLama вместе с командой «Яндекс Директа» предложили рекламодателям помощь в проведении правильного и достоверного A/B-теста конверсионной стратегии и ручного управления ставками. А за участие в этом эксперименте «Яндекс» возвращал рекламодателям бонусами 50% от расхода тестовой кампании со стратегией. В новом кейсе команды рассказывают, как организовали эксперимент и с какими результатами он завершился
Выбираем кампании и рекламодателей
Для эксперимента мы отбирали кампании, которые соответствовали трем главным условиям:
- В них используется ручное управление ставками и назначены ключевые цели.
- Они активны, у них есть накопленная статистика за последние 14 дней.
- За последние 7 дней в кампаниях зафиксировано не менее 20 конверсий по одной из ключевых целей.
Также нам было важно, чтобы в аккаунте работали минимум две рекламные кампании: если в ходе эксперимента что-то пойдет не так, это не затронет всю рекламу клиента. А вот тип кампании — поисковая или для сетей — был не принципиален.
В итоге мы получили выборку из 662 кампаний от 287 клиентов — самостоятельных рекламодателей, агентств и фрилансеров.
Приглашаем рекламодателей в эксперимент
В начале октября мы отправили несколько рассылок с приглашением к участию в тесте, а с рекламодателями, которые не прочитали письма, связались по телефону.
В конце месяца для потенциальных участников эксперимента мы провели вебинар. Продакт-маркетолог «Яндекса» Дмитрий Коновальчук и евангелист eLama Павел Баракаев рассказали об автостратегиях, особенностях их работы и условиях эксперимента.
Если клиент соглашался на тест, он заполнял форму и указывал в ней недельный бюджет, ключевые цели, стоимость их достижения, модель оплаты (за клики или конверсии) и другие параметры. Так мы получили 56 заявок — это почти 20% от всего количества потенциальных участников.
Настраиваем эксперименты
Лучший способ сравнить автостратегию и ручное управление — A/B-тест. В нем одновременно работают две кампании на равные части аудитории. В кампаниях все параметры — настройки, бюджет, аудитория, период, влияние сезонности или изменения спроса — одинаковы, что дает возможность корректно оценить работу разных подходов к управлению ставками.
Мы проводили A/B-тестирование с помощью инструмента в «Яндекс Аудиториях», а настройку экспериментов взяли на себя специалисты «Яндекса». Они делали две копии исходной кампании, в одной оставляли ручное управление ставками, во второй — устанавливали конверсионную стратегию по параметрам, заданным рекламодателем.
Забегая вперед, отметим, что во всех 15 кампаниях, дошедших до конца эксперимента, использовалась стратегия «Оптимизация конверсий», в четырех из них — рекламодатели выбрали оплату конверсий, в остальных — оплату кликов.
Минимальный бюджет для участия в эксперименте составлял 4200 рублей в неделю — по 2100 рублей на каждую кампанию.
В момент старта эксперимента клиент выключал исходную кампанию и запускал две тестовые. Чтобы эксперимент считался успешным, а рекламодатель получил бонус, ему нужно было:
- Обеспечить непрерывную работу двух тестовых кампаний в течение четырех недель в период с 25 октября по 19 декабря.
- Не вносить в кампании изменения, перечисленные в памятке, которую получал каждый участник эксперимента.
В кампаниях запрещалось менять бюджет, стратегию, цену конверсии, среднюю цену конверсии, модель атрибуции, а также нельзя было останавливать кампании и добавлять или удалять ключевые цели, так какэти изменения перезапускают обучение алгоритмов в автостратегии. Также рекламодателям не рекомендовали во время эксперимента добавлять большое количество ключевых слов, массово переписывать объявления, менять геотаргетинг и расписание показов.
При этом в кампании с ручным управлением можно было менять ставки, настраивать корректировки и использовать бид-менеджер eLama. Остальные изменения можно было вносить, но в обе тестовые кампании сразу.
Специалисты «Яндекса» настроили 32 эксперимента, и 30 из них были запущены рекламодателями.
В процессе настройки эксперимента рекламодатели получали письма со статусами и напоминаниями, а менеджеры eLama по развитию отвечали на вопросы о тесте, изменении в кампаниях и оценке промежуточных результатов.
Результаты
Успешно завершились 15 экспериментов. В остальных 15-ти или нарушались условия проведения теста, или кампании прекращали работу — из-за нехватки бюджета или остановки рекламодателями.
Кампании из успешных экспериментов продвигали проекты в 10 тематиках.
Средний бюджет эксперимента составил 27 000 рублей.
Чтобы получить корректные результаты эксперимента, мы оценивали эффективность кампаний по итогам вторых двух недель (в первые две недели алгоритмы стратегии обучаются, делать выводы об эффективности рано) и в разрезе трех метрик:
- Наименьшая средняя цена за конверсию (CPA).
- Наибольшее количество конверсий — достигнутых ключевых целей.
- Отношение цены к достигнутым целям. Например, если в кампании с автостратегией цена цели выше в 2,5 раза, а целей достигнуто в 2 раза больше, то считаем, что ручное управление сработало лучше.
Стратегии превзошли ручное управление ставками по всем показателям.
Лучшие результаты с точки зрения CPA оказались в тематиках «Лекарственные препараты и БАДы», «Образование» и «Уход за домом». В поисковых кампаниях с автостратегиями цена конверсии была на 37–47% ниже, чем в кампаниях с ручным управлением.
По количеству конверсий лучшие результаты у автостратегий были в тематиках «СМИ/информационные сайты», «Образование», «Уход за домом», «Юридические услуги и консалтинг», «Медицинские услуги» — разница в количестве достигнутых целей составляла от 30 до 62%.
Решение о работе стратегий после завершения эксперимента участники принимали самостоятельно. Чтобы помочь им оценить результаты, мы подготовили инструкцию, в которой объяснили, как построить отчет в Мастере кампаний и сравнить эффективность автостратегии и ручного управления ставками.
В 12 из 15 кампаний рекламодатели продолжили использовать конверсионные стратегии после завершения эксперимента. К слову, в большинстве случаев до эксперимента в аккаунте вообще не было кампаний с автостратегиями.
Как успешно протестировать конверсионные стратегии в «Директе»
- Определите, подходит ли ваша кампания для проведения А/B-теста. Она должна приносить не меньше 20–25 конверсий в неделю по целям, настроенным в Метрике.
- Используйте эксперименты в «Яндекс Аудиториях» для проведения A/B-тестов.
- Не занижайте целевые показатели. При определении цены за конверсию и недельного бюджета ориентируйтесь на накопленные данные на ручном управлении и используйте их при настройке кампаний.
- Запускайте тестовые кампании и вносите незначительные изменения в обе кампании одновременно.
- Не допускайте остановок кампаний больше чем на сутки и не вносите существенных изменений. В процессе теста нельзя менять стратегию, модель оплаты, модель атрибуции, а также добавлять и удалять ключевые цели.
- Сохраняйте спокойствие, если во время обучения кампания показывает низкий результат или расход превышает лимит. Стратегии нужно время на обучение, иногда это несколько дней, иногда — две недели.
- Анализируйте результаты и принимайте решение по выбору стратегий по истечению минимум двух-трех недель.
