Трафик ИИ-ботов занял 13% всех веб-сессий
Доля сборщиков данных для нейросетей выросла на 62,5% — самым активным стал AmazonBot
Количество посещений сайтов ботами, собирающими информацию для искусственного интеллекта, выросло более чем на 60% за последний год, сообщает MediaPost, ссылаясь на данные британской технологической компании 51Degrees. Издатели все чаще сталкиваются с нежелательным парсингом (процесс автоматического сбора и обработки данных с сайтов, документов и других источников), который увеличивает расходы на инфраструктуру и снижает доходы от рекламы.
Исходя из анализа более 3 млрд посещений веб-сайтов, проведенного 51Degrees за 12 месяцев до мая 2026 г, доля ИИ-сборщиков в трафике выросла с 8 до 13% от всех веб-сессий — прирост составил 62,5%. Самым активным ботом оказался AmazonBot, который используется для индексации контента и сбора данных для улучшения бота Alexa, ИИ для шопинга Rufus и поиска товаров. На него пришлось 4,1% всех посещений. Meta-ExternalAgent* обеспечил 2,9% трафика, Microsoft BingBot — 1,35%, Anthropic — 0,2%, OpenAI — 0,1%, Perplexity — 0,04%, Google Gemini — 0,0003%.
Джеймс Розуэлл, генеральный директор 51Degrees, заявил MediaPost, что ИИ-боты ложатся на издателей двойным бременем. Сначала из-за пропускной способности, которую боты используют при сборе данных, а второй раз — когда они крадут трафик с сайтов, использующих результаты работы ИИ. По его словам, такой это подрывает жизнеспособность открытых веб-платформ, которые зависят от рекламной модели.
Нина Гулд, директор по инновациям Forbes, ранее сравнила борьбу с такими ботами с игрой в крота. Многие ИИ маскируются под обычных пользователей, подделывают данные и действуют скрытно, что затрудняет их блокировку. При этом часть ботов все же идентифицирует себя — например, ClaudeBot и PerplexityBot, и статистика 51Degrees учитывает именно такие сессии.
Отдельно в 51Degrees отметили, что Google также использует своего поискового робота для сбора данных для ИИ, но эта информация не включена в приведенные цифры. Меньшие показатели некоторых ботов, по мнению компании, могут указывать на то, что разработчики уже получили значительную часть необходимой информации из интернета.
Кроме того, ранее Cloudflare писала, что нейросети и боты уже превзошли активность людей и генерируют примерно 57,4% всех веб-запросов в мире. Для противодействия Google, Cloudflare и другие технологические компании разрабатывают токены контроля частного доступа, которые позволяют отличать реальных пользователей от вредоносных скриптов и авторизованных агентов ИИ.
*Meta и соцсети компании Facebook и Instagram* признаны экстремистскими и
запрещены в РФ
