Кейс Digital Budget: как разработать и вывести новый продукт на рынок

В начале 2024 года компания Digital Budget представила рынку новый продукт Banner Stat — систему мониторинга рекламных размещений на сайтах, сбор креативов, расчет OTS и SOV. Banner Stat позволяет узнать, на каких площадках и когда запускаются рекламные кампании конкурентов, какие у них рекламные форматы и креативы, а также в каком объеме и с какой видимостью они рекламируются.

Период РК

Февраль — декабрь 2024.

Идея

Digital Budget — компания, занимающаяся оценкой затрат рекламодателей на продвижение в интернете. В 2021 году специалисты сервиса создали продукт Marketplace Budget, который мониторит прямые баннерные размещения внутри контура маркетплейсов с оценкой затрат на такое продвижение и сохранением всех креативов. Сейчас в мониторинге продукта находится 11 маркетплейсов.

Параллельно с доработкой и развитием парсера маркетплейсов команда Digital Budget получила кастомный запрос на мониторинг ряда веб-сайтов спортивных СМИ Казахстана. Тогда пришли к выводу, что каждый раз разрабатывать новую логику парсинга под определенные особенности площадок — не лучшая идея. Надо делать универсальный механизм для сбора размещений рекламодателей на любом сайте.

Понимая, что в индустрии есть запрос на подобный мониторинг, позволяющий не только фиксировать выходы, а обеспечивать в режиме реального времени поставку данных о размещениях брендов, эксперты Digital Budget запустили в регулярный парсинг крупнейшие российские сайты.

Цель

Создать продукт, оперативно поставляющий данные о рекламной активности брендов и рекламодателей в интернете с возможностью оценки их собственной и конкурентной видимости.

Задачи

• Разработать универсальный механизм парсинга сайтов, позволяющий собирать рекламные размещения с любого регулярно пополняемого набора сайтов.
• Разработать технологию автоматической атрибуции найденных размещений для максимально оперативной поставки данных.
• Обеспечить нужное число мощностей для хранения собранных данных, включая креативы.
• Создать методологию многофакторной оценки видимости рекламных размещений и рекламодателей.

Реализация

Первоначальная структура данных Banner Stat

• атрибуты ссылки (бренд, рекламодатель, категория);
• дата размещения (предоставляется с точностью до дня);
• площадка (основной домен площадки, на которой было найдено размещение);
• страница (url-адрес страницы, на которой было найдено размещение);
• тип креатива (pre-roll, image, video, canvas, iframe, preview, background, shadow root);
• целевая ссылка (ссылка для перехода и ссылка приземления);
• ссылка на картинку или скриншот размещения (креативы сохраняются на серверах компании, поэтому можно увидеть их в любой момент);
• линейные размеры баннера (длина и ширина креатива).

В процессе коммерциализации продукта на этапе пресейла выяснилось, что клиентам важно было не только получать данные о рекламных размещениях, но и понимать видимость размещений и их рекламодателей. Тогда в рамках продукта Banner Stat разработали инновационную методику оценки OTS и SOV с учетом нескольких параметров. Cбор и сохранение креативов и UTM-меток позволили анализировать креативную составляющую размещений и отслеживать запуск новых рекламных кампаний.

Что стало потом

Во-первых, cоздали универсальный парсер для сбора рекламных размещений в ежедневном режиме несколько раз в день.

Краткое описание технологии:

1. Сбор XPath для элементов, которые будут разобраны.

2. Сразу после нужно указать тип XPath (все типы можно разделить на целевые и необходимые для промежуточных действий).

3. Затем XPath передаются в ПО.

Здесь для каждого типа XPath есть свой обработчик. Если это целевой XPath, то его элемент разбирается на части. Если это XPath для действия, то происходит переход к следующему XPath.

4. Через симуляции действий пользователя, с помощью XPaths, собираются:

• page-url страницы, на которой был найден баннер;
• url, на который ведет баннер;
• image-url (ссылка от поставщика рекламы, своя ссылка на скриншот)
• width- и height-элемента;
• offsetTOP (удаленность от начала).

В случае если одно место расположения баннера представляет из себя несколько баннеров, применяется CV (компьютерное зрение) для выявления каждого баннера.

Также в ПО для каждого сайта можно выбрать proxy и периодичность его сбора баннеров.

Во-вторых, команда Digital Budget разработала механизм полуавтоматической атрибуции всех размещений по брендам, рекламодателям и категориям с помощью нейронный сетей.

Если раньше в рамках продукта Marketplace Budget вопрос атрибуции рекламных размещений к брендам, рекламодателям и категориям закрывался вручную, то с технологическим развитием продукта Banner Stat это стало проблемой из-за огромного объема размещений. Тут в моменте необходимо было атрибутировать более тысячи доменных имен в день.

Так появилась потребность в автоматической атрибуции, которую реализовали через построение полноценной системы атрибуции с помощью нейронных сетей:

• Научиться «вылавливать» данные из Html Dom, преодолевая трудности scraping (извлечения).
• Построить микросервисную архитектуру нейронных сетей.

Это позволило автоматически атрибутировать большое количество рекламных размещений, что значительно уменьшило долю ручной работы и повысило эффективность.

В-третьих, придумали новую методологию расчета OTS и SOV. Инновационность проекта Banner Stat в том, что на стадии обработки полученных в результате мониторинга данных аналитики рассчитывают видимость рекламного размещения, основываясь не просто на фиксации факта выхода, а используя показатели качества:

• посещаемость площадки;
• глубина страницы от главной;
• площадь креатива;
• расстояние от начала страницы;
• тип креатива.

Затем с учетом этих параметров рассчитывается видимость каждого бренда/рекламодателя.

SOV для каждого рекламодателя получается как частное от суммарной видимости конкретного рекламодателя на сумму видимости по всем рекламодателям, участвующим в сравнении.

SOV = Visibility (x) / Visibility (y), где

1. Visibility (x) — суммарная видимость по найденным размещениям каждого рекламодателя.
2. Visibility (y) — суммарная видимость по найденным размещениям всех рекламодателей, участвующих в сравнении.

Модель данных позволяет рассчитывать SOV внутри любого периода и по любому набору брендов.

Результаты

Чего удалось добиться за восемь месяцев:

• Разработали и внедрили универсальный автоматический сбор рекламных размещений.
• Научились атрибутировать в полуавтоматическом режиме огромное количество рекламных размещений, чтобы завтра получать данные за сегодня.
• Разработали новую систему расчета индустриального показателя SOV с учетом нескольких параметров.
• Прошли предварительную экспертизу в «Сколково» на соответствие инновационным приоритетам фонда.
• В мониторинг Banner Stat добавлены 401 сайт и 4,4 тыс. страниц.
• Найдено более 20,2 млн выходов рекламных размещений.
• Зафиксировано более 4,6 млн уникальных ссылок приземления.
• Сохранено более 5 млн креативов.
• Упаковали и запустили продукт в рынок. Достигли устойчивой коммерциализации.
• Достигли первых продаж и безубыточности продукта.
• Создали два новых продукта внутри Banner Stat: Creative Spy — выгрузка рекламных креативов; AdSignal — отслеживание запуска новых рекламных кампаний с описанием и фиксацией креативов.

Планы

— Масштабирование и полная автоматизация профилирования парсинга (сбор рекламных размещений на сайтах не от анонимного пользователя, а от пользователя с вполне конкретным перечнем интересов, который релевантен исследуемой товарной категории).

Данная методика запущена осенью 2024 года. В дальнейшем планируется еще создание профилей для более широкого охвата таргетированных размещений, чем сейчас.

— Следующий этап развития продукта — профильный парсинг, реализуемый через браузерное расширение (плагин).

В Banner Stat планируется увеличить и улучшить качество сбора данных при помощи создания исследовательской панели, которая будет собрана из пользователей с установленным плагином. Эти пользователи будут помогать собирать данные по посещениям и по тем размещениям, которые они видят.

Для того чтобы рекрутировать эту панель, планируется проводить кастомные исследования по запросу рекламодателей, которые реализуют маркетинговые исследования потребителей.

Реклама. Рекламодатель ИП Степанов Александр Сергеевич ИНН 323408007697