MoaT, Admon и «Яндекс.Метрика»: сравнение качества работы трех верификаторов трафика

Рынок рекламы растет из года в год, становится больше инвентаря. Развиваются традиционные инструменты вроде онлайн- и медийной рекламы, вместе с технологиями появляются новые форматы (реклама в приложениях, offline to online, smart TV и др.). Увеличиваются бюджеты, а вместе с ними — поле для махинаций.

Самый популярный (и зловредный) способ отбора средств у рекламодателя — фрод. Так называется трафик, который создается ботами или механизмами накрутки. Поскольку посещения откручивают неживые пользователи, факт визита не имеет ценности для рекламодателя — роботы не любят бренды и не собираются ничего покупать. А деньги за просмотр и клик все равно списываются.

По данным АКАР, только за январь-июнь 2020 года, фрод «украл» у рекламодателей почти 22 млрд рублей — около 20% от вложенных в рекламу средств. Очевидные потери несут и другие участники рынка, включая посредников и отдельных веб-мастеров: игра в черную наносит репутационный урон всей отрасли в целом.

Фрод против аудиторов

Есть несколько способов борьбы с фродом. Самый объективным и надежным считается проверка трафика с помощью верификаторов (или аудиторов). Это специальные сервисы, которые помогают рекламодателям управлять рекламой и контролировать качество посещений.

Сначала инструменты контроля качества трафика появлялись в системах веб-аналитики и крупных сервисов, и этого было достаточно. Но бюджеты росли и появились независимые аудиторские системы, которые со временем превратились в отраслевые стандарты качества.

Верификаторы — независимые диагносты. Они передают рекламодателям данные о качестве получаемого трафика. Зная процент фрода, те могут отсечь некачественный трафик и не слить бюджет на пустышку. Или вернуть часть затраченных средств на нецелевые показы.

Все хорошо, но есть три проблемы:

• Верификаторы оценивают трафик постфактум, после запуска рекламы, не видят предпосылок его появления и не читают мысли вебмастера. Точность оценки зависит от работы алгоритмов сервисов.
• В разных верификаторах используются разные параметры определения качества трафика. При этом алгоритмы засекречены. Что работает хорошо, а что нет — сказать сложно.
• Как итог — никто не знает, сколько на самом дела фрода пропускает та или иная система.

Какой системой пользоваться, чтобы привлечь максимум целевых визитов? Как не обжечься, если технологии лежат под грифом «секретно», а процесс проверки трафика непрозрачен? Проводить эксперименты.

Методология эксперимента: 8000 сайтов и три испытуемых

RTBSape — платформа управления медийной рекламой и единый инструмент как для монетизации, так и возможности для покупки инвентаря для крупных рекламодателей. На платформе есть собственная система контроля качества для верификации трафика, плюс поддерживаются все решения со стороны клиента, включая проброс пикселей от верификаторов.

Обладая массивом данных по трафику из разных источников, мы решили провести эксперимент: взять несколько тысяч площадок, проанализировать их на качество инструмента с помощью самых популярных верификаторов и сравнить полученные данные. Если получится — проследить закономерности и дать советы вебмастерам.

Для анализа взяли три верификатора: MoaT, Admon, отчет «Яндекс.Метрики» по роботности. Все эти сервисы могут измерять фрод на сайте (просто называют это по-разному).

Коротко об испытуемых:

• MoaT — аналитическая компания из США, которая специализируется на создании продуктов для рекламодателей.
• Admon — российский авторитетный антифрод-сервис.
• Отчет «Роботность» в «Яндекс.Метрике» — бесплатный инструмент для отслеживания ботов и других «неживых» посетителей.

MoaT и Admon придерживаются принципов IAB/MRC на определение фродового трафика. Отчет «Роботность» считается надежным инструментом оценки качества трафика. Все три сервиса — авторитетные и объективные. Тем интереснее было, что получится.

Ход эксперимента

Коротко расскажем о методологии.

1. Выгрузили сайты с данными.

Для наших целей было необходимо отыскать сайты с данными о качестве трафика от трех верификаторов. Обнаружилось 8811 площадок. Мы выгрузили данные по качеству трафика на этих сайтах в гигантскую таблицу Excel.

Что за цифры? И MoaT и Admon отслеживают показатель IVT (invalid traffic). Такой трафик бывает двух видов: GIVT (базовый̆ недействительный̆ трафик, которые определяется стандартными инструментами) и SIVT (сложный специфический трафик, который весьма сложно идентифицировать.) Мы брали усредненное значение из этих значение.

В отчете «Яндекс.Метрики» нас интересовал показатель роботности. Иными словами, процент трафика, который сгенерировали неживые пользователи.

2. Поделили сайты на три категории (по результатам хотя бы одного верификатора).

• объективно фродовые (70% подозрительного трафика);
• мутные сайты (30-69% фрода);
• нефродовые сайты (менее 5% фрода).

3. Сравнили результаты и сделали выводы.

Сначала мы сравнили сайты с объективно большим количеством фрода — то есть ресурсы, у которых верификаторы нашли 70% фродового трафика. Каждый из сервисов посчитал таковыми разное число площадок.

Анализ выявил только 11 общих сайтов. Удивительно малая цифра заставила нас подумать, почему это могло произойти.

1. Состав инструментов для проверки трафика отличался.

Мы вызывали пиксели в момент покупки показа. Однако данные MoaT предоставил рекламный партнер. И мы смотрели результаты в момент покупки рекламы партнером, уже вместе с креативом. Пиксель Admon мы вызывали на каждый купленный показ, независимо от того, кто его покупал. Поэтому теоретически состав трафика на одних и тех же сайта мог отличаться.

2. Значение SIVT и GIVT менялось от показа к показу.

Мы считали комплексное значение IVT как среднее пропорциональное от объема трафика между SIVT и GIVT. Однако доля SIVT и GIVT для каждого показа в верификаторах могла быть разной.

3. Верификаторы действительно различаются в показаниях, поскольку используют разные алгоритмы проверки.

Что из этого правда — пока непонятно. Но нам стало интересно посмотреть на результаты только между этими двумя верификаторами (а роботность изучить отдельно).

Эксперимент 2. MoaT vs Admon

Исследуем на статистику двух верификаторов на трех типах сайтов.

На некоторых сайтах пикселям MoaT и Admon не досталось показов. Цифра в скобках — сайты, на которых пришелся минимум один показ.

Выводы:

1. Оба верификатора примерно одинаково определяют качественный трафик.
2. Любой трафик, который не заслужил доверия, по умолчанию считается фродовым. Мы видим прямую корреляцию между качеством трафика и числом общих сайтов. Можно назвать это перестраховкой.

Эксперимент 3. Нефродовые сайты: три верификатора

Отдельно изучили информацию от «Яндекс.Метрики». Система веб-аналитики «Яндекса» оценивает посещения роботов — ботов различного характера (как полезных, так и мошеннических). В нашем случае понятие некачественного трафика шире — к нему могут относиться не только заходы роботов, но и, например, авторефреши или трафик с рекламных мест, которые не видны пользователю.

Нецелевые показы и клики при этом генерируют живые пользователи (но под контролем сторонних шпионских программ), а не роботы. Поэтому такие заходы не будут учтены в Метрике. Теоретически данные метрики по роботности могли быть даже мягче, чем показатель IVT у Admon или MoaT. На практике получилось не совсем так.

Количество пересекающихся сайтов по трем верификаторам оказалось в 3 раза меньше, чем общих сайтов по мнению MoaT и Admon. Удивительно, но Метрика считала фрод даже жестче, чем все остальные верификаторы. Вероятно, это связано с тем, что разработчики Яндекса лучше понимают специфику российского рынка и подкрутили алгоритмы в соответствующую сторону.

Переходим к выводам.

Два супервывода

Данных для полноценного анализа оказалось не так много, как хотелось — мы наблюдали только конечный результат работы всех верификаторов. Но есть два вывода, которые мы можем сделать даже на основе скудной информации.

1. Все верификаторы примерно одинаково понимают, что такое хороший трафик.

2. Верификаторы по-разному оценивают некачественный трафик.

Что это значит для рекламодателя

Для оценки качества трафика имеет смысл приобрести один (наиболее выгодный) верификатор. Нефродовые посещения увидят более-менее все.

Если же нужно доказать, что трафик оказался фродовым и не соответствует ожиданиям рекламодателя (например, для возврата средств или расторжения договора), использовать один верификаторов и согласовать его использование с инвентарем в договоре или переписке.

Самый объективный способ побороть фрод — измерять трафик сразу несколькими антифрод-системами и считать качественным трафиком только тот, по которому нет разночтений. Но нужно быть готовым, что его будет чудовищно мало.