2011: как Google и Bing стали мешать оптимизаторам и медиа

В течение нескольких  лет поисковые машины – Google в частности – предоставляли все больше поддержки оптимизаторам и медиа. Но 2011 год стал первой точкой перелома, когда ключевые ссылки и данные перестали быть открытыми. Немного размышлений о том, что случилось, почему это важно, и как медиа могут пострадать, если Google и Bing не изменят положение вещей.

Откуда мы пришли

Некоторые, вероятно, полагают, что поисковые машины ненавидят медиа, ненавидят оптимизаторов и в течение многих лет облегчали их работу лишь немного. Они ошибаются, потому что сознательно игнорируют факты или, что более вероятно, просто не знают реального положения вещей.

Когда я впервые начал писать об оптимизаторах в 1996 году, у нас было крайне мало медиа, добавляющих URL-формы. Сегодня у нас есть весь набор инструментов, таких как Google Webmaster Tools и Bing Webmaster Tools, и автономные функции и опции, которые предоставляют и обеспечивают:

• Возможность представить и проверить XML карты сайтов;
• Возможность просмотра, сканирования и индексирования ошибок;
• Возможность создания «нужных» списков и управления ссылками сайтов;
• Возможность переноса домена;
• Возможность идентифицировать канонический URL или основной домен;
• Возможность составлять crawl-рейтинги;
• Возможность управлять параметрами URL;
• Возможность просмотра детальной информации по сайту;
• Возможность просматривать ключевые слова, по которым, как правило, пользователи приходят на сайт;
• Уведомления о вредоносных программах или спаме на  сайте.

На самом деле этих опций даже больше, чем перечисленных выше. Поддержка медиа, которая доступна сегодня, просто невообразима для ветеранов оптимизации, которые работали в этой сфере десять лет назад.

Все эти улучшения, конечно же, были встречены позитивно. Это помогло медиа лучше управлять размещениями на самых важных площадках в интернете в целом и в поисковых системах в частности. Это помогло поисковикам справляться с ошибками и проблемами, которые могли бы нарушить удобство их использования и снизить релевантность результатов поиска.

Именно поэтому 2011 был настолько тревожным для меня. После нескольких лет движения вперед поисковые системы сделали большой шаг назад.

Потеря данных о ссылках

Одна из самых важных вещей – это то, как поисковые системы определяют релевантность веб-страницы путем анализа ссылок. Это означает изучение того, кто ссылается на страницу, или что текст на гиперссылке говорит о ней.

Тем не менее, в течение многих лет Google сознательно подавлял способность посторонних видеть то, что ссылки могут сообщить ему о какой-либо конкретной странице. Хотите знать, что скрывается в результатах поиска под словом Санторум? Почему Google именно такие результаты поиска выдает на слова «определить англичанина»? Очень жаль, но Google не поможет вам понять, как связаны эти вещи. Он отказывается предоставлять все ссылки на определенную страницу или слова, используемые в линках и описании, если вы не являетесь владельцем страницы.

Это очень плохо. Можно  просто продемонстрировать, каким образом сайты могут сделать хороший реинжиниринг в Google для получения конкурентных позиций по таким терминам, как «SEO» само по себе, просто размещая ссылки на форумах, клиентских страницах или в шаблонах страниц блогов.

Учитывая это, трудно понять, что таким образом Google думает действительно обеспечить защиту, скрывая данные. Но до 2011 года была простая альтернатива. Пользователи могли обратиться к сопернику Google – Yahoo, чтобы узнать, как люди могут ссылаться на страницу.

Yahoo Site Explorer

Yahoo запустил Yahoo Site Explorer еще в сентябре 2005 года как часть рекламной кампании, чтобы отбить часть аудитории Google и предоставить информацию для медиа. Инструмент предлагал всем желающим данные по ссылкам, которые были у Yahoo обо всех страницах в списках поисковика.

Сегодня Yahoo все еще якобы хочет получить часть аудитории Google. Но поскольку результаты поиска Yahoo теперь базируются на Bing, у первого крайне мало причин предоставлять средства поддержки медиа. Теперь это проблема Bing.

Так что Yahoo закрыл Yahoo Site Explorer в конце ноября прошлого года, заявив, как это до сих пор указано на сайте:

"Yahoo! Search объединил свой Site Explorer с Bing Webmaster Tools. Вебмастерам теперь следует использовать Bing Webmaster Tools для получения высококачественного органического поискового трафика от Bing и Yahoo!".

Это неправда. Yahoo Site Explorer не был влит в Bing Webmaster Tools. Он был просто закрыт. Bing Webmaster Tools не дает возможности проверить обратные ссылки на любую страницу, как это позволял делать Yahoo Site Explorer.

Закрытие якобы произошло после того, как Yahoo «выслушал отзывы» о том, чего хотели медиа, как утверждается в заявлении поисковика в начале года. Я не знаю, какие отзывы слушал Yahoo, но я видел, как люди весь прошлый год отчаянно умоляли Yahoo и Bing о создании такого же функционала, как был у Yahoo Site Explorer.

Сделка Yahoo/Bing снизила конкуренцию

Когда Министерство юстиции США предоставило свое согласие на партнерство Yahoo и Microsoft, предполагалось также, что пространство поиска останется конкурентным. В связи с этим Министерство юстиции в 2010 году заявило:

"После тщательного анализа доказательств ведомство установило, что предполагаемая сделка вряд ли существенно снизит конкуренцию в Соединенных Штатах и потому не может нанести вред пользовательскому поиску в интернете, платному рекламному поиску, интернет-медиа или дистрибьюторам поиска и платных технологий поисковой рекламы".

Я бы сказал, что потеря Yahoo Site Explorer нанесла ущерб как интернет-пользователям, так и интернет-медиа. Yahoo Site Explorer был отличительным инструментом, позволявший обоим категориям лучше понимать внутреннюю работу поисковых систем. Кроме того, таким образом было снижено конкурентное давление на Google, у которого исчез стимул предложить свой собственный инструмент.

В самом деле, после закрытия Yahoo Site Explorer все стало хуже. В конце декабря прошлого года Bing официально подтвердил, что больше не предоставляет информацию по линкам в своем центре поддержки клиентов.

Следующий на очереди: командная ссылка?

Командная ссылка позволяет ввести любой адрес, добавив перед ним слово «link»  для того, чтобы найти ссылки, указывающие на страницу. Это давняя услуга, которая работает в большинстве крупных поисковых систем еще с конца 1995 года, когда была запущена AltaVista.

Google по прежнему поддерживает эту команду и показывает некоторые (но не все) имеющиеся ссылки. Здесь я бы сослался на документацию Google по этому поводу, но компания тихо закрыла ее в мае 2008 года. Вот что она обычно говорила:

Вот как командная ссылка сейчас работает в Google. Ниже я использовал ее, чтобы увидеть, какие ссылки, по мнению Google, указывают на официальную страницу кампании Рика Санторума:

Первая стрелка указывает, как используется командная ссылка. Вторая показывает, как Google сообщает о 111 ссылках, которые ведут на страницу. Представьте себе – Рик Санторум сейчас является основным республиканским кандидатом на пост Президента США, а Google говорит, что на его страницу ссылаются лишь 111 ссылок.

На самом деле их, скорее всего, гораздо больше. Google учитывает их, но не показывает общее количество людям, которые интересуются, что именно сегодня просматривают. Я продемонстрирую это более наглядно, но посмотрите, насколько хуже ситуация в Bing:

Одна ссылка. Это все, что Bing может сообщить публике, которая пожелает узнать, как много ссылок ведут на веб-сайт Рика Санторума.

Это касается не только SEO

Людям не все равно, поверьте мне. Я начал писать эту статью в понедельник, но прервался потому, что должен был изучить, как Google (возможно) связан с покупкой схемы, при помощи которой браузер Chrome должен был получить лучшие результаты поиска в системе Google.

Я сомневаюсь, что это было основной целью маркетинговой кампании, которую проводит Google, но отсутствие достойного инструментария для отслеживания ссылок у самого Google не позволило мне получить полную информацию.

Как только эта история закончилась, повышенное внимание было сосредоточено на том, почему веб-кампания Рика Санторума не была перебита «анти-Санторум» сайтом, который определял «санторум» как продукт для анального секса.

На протяжении всей этой истории рассматривались основные средства массовой информации. Мой анализ был проведен на данных The Economist, CNN, The Telegraph, The New York Times, MSNBC и Marketplace.

Но еще раз, я – или кто угодно, кому действительно было дело – не смог увидеть все линки, которые, по данным Google, вели на оба сайта, и тем более важен был текст, который использовали люди при описании этих сайтов. Только Google знал то, что было на самом деле.

Опции третьей стороны хороши, но это не решение

Если вы еще не слышали жалобы на закрытие Yahoo Site Explorer и уменьшении данных о ссылках в целом, то это лишь потому, что сторонние альтернативы все еще остаются: такие как Majestic Site Explorer или инструмент, который я часто использую – Open Site Explorer от SEOmoz.

Эти инструменты позволяют увидеть то, насколько недостаточна информация, показываемая поисковыми системами. Это видно на примере отчета о ссылках относительно домашней страницы кампании все того же Рика Санторума:

Первая стрелка показывает, что на сайт ведут в общей сложности 3581 ссылок. Помните, что в отчетности Google говорилось, что их лишь 111? А у Bing и вовсе 1?

Две другие стрелки показывают «внешние» линки, указывающие на оба сайта – самого Санторума и «анти-Санторума».  Теперь вы можете увидеть, что страница «анти-Санторума» в четыре раза превзошла соперника по количеству линков, указывающих на страницу, что дает понимание того, почему ее поисковые результаты настолько лучше.

Но речь идет не только о количестве ссылок. Используя другие отчеты, я вижу, что тысячи ссылок, которые ведут на оба сайта, имеют в тексте слово «санторум» в самих ссылках. И именно поэтому они оба в начале списка результатов поиска по этому слову.

Поскольку у анти-сайта намного больше линков, в которых указано слово «санторум» и «распространение санторума», это, вероятно, помогает ему опередить сайт кампании в результатах поиска по ключевому слову. Но так как на официальном сайте есть значительное количество цитат из таких источников, как BBC, где упоминается «Рик Санторум», это (вместе с тем фактом, что доменное имя сайта звучит как richsantorum.com) позволяет ему получить более высокий рейтинг при поиске по словам «Рик Санторум».

Приятно, что я могу использовать сторонние инструменты для выполнения этого анализа, но, по-хорошему, я не должен бы этого делать. Это просто безумие – и неправильно, что и Google и Bing отправляют ищущих людей и издателей из собственных поисковиков систем, чтобы сделать это.

С  одной стороны, сторонние ресурсы на самом деле не могут точно знать, что поисковые системы считают как ссылки. Они делают свои оценки, основанные на результатах их собственного поиска, но это не полностью соответствует принципам работы Google и Bing.

Не размещать ссылки все равно, что не добавлять в блюдо нужные ингредиенты

С другой стороны, поисковые системы должны просто показывать людям именно те цифры, которые им нужны. Ссылки представляют собой основную часть «ингредиентов» для создания результатов поисковой системы. Если кто-то хочет знать, являются ли эти результаты «элементами здорового питания», то ингредиенты должны быть озвучены.

Да, Google и Bing намереваются сообщать данные о линках сайта зарегистрированного издателя. Но пришло время, когда им обоим стоит начать предоставлять информацию о ссылках любого сайта всем желающим.

Поисковой движок Blekko это уже делает, позволяя любому авторизованному пользователю видеть обратные ссылки на страницы. Черт возьми, Blekko даже даст вам значок, который вы можете разместить на своей странице, показывая эти ссылки, как это делали в Yahoo. Но для Google является нормальным тот факт, что его сервис не показывает все ссылки на страницу. Серьезно, это именно то, что говорится на странице поддержки Google.

В частности, Google сделал значительные усилия для того, чтобы люди сообщали о спаме, отображающемся в результатах поиска. Но если поисковик действительно хочет подобной помощи, то ему необходимо обеспечить более совершенные инструменты для диагностики спама. Это означает предоставление данных для любых адресов, а также отчетность по ключевым словам.

Google также сделал много для того, чтобы компании были открытыми. В частности, поисковик настаивает на том, чтобы были видны социальные связи. Google хотел этого, поскольку до того, как был запущен Google+, поисковик был в сложных условиях относительно получения данных о социальных связях, в то время как они были у Facebook.

Линки также являются эффективными социальными инструментами, с помощью которых Google измеряет связи между страницами. Если социальные связи должны быть открыты, то Google должен делиться и связями по линкам.

Наконец, не имеет значение то, что лишь очень немногие пользователи Google и Bing испытывают потребность проводить подобный анализ. Часто именно непопулярность типа запросов служит буксующим фактором.

Относительно небольшой процент людей читают состав на этикетках продуктов, которые они едят. Но для тех немногих, кто все же делает это, или для тех, кто вдруг захочет узнать больше, эта этикетка должна быть предоставлена. То же самое должно быть в Google и Bing, которые должны обеспечивать данные о каналах передачи для любого сайта.

Прощайте, данные о ключевых словах

Что беспокоит меня еще больше, чем отключение передачи сведений о линках, так это то, что в октябре прошлого года Google перестал показывать издателям данные о ключевых словах, которые использовали люди, чтобы выйти на их веб-сайты, в случаях, если эти люди были зарегистрированы на Google.

Данные о линках были закрыты Google. Скрытие данных о ключевых словах — это новый удар.

Компания Google заявила, что это было сделано, чтобы защитить конфиденциальность пользователей. Я не сомневаюсь – многие компании считают, что это честно. Но если дело действительно в необходимости защиты неприкосновенности частной жизни, то Google не стоило намеренно оставлять гигантскую дыру, через которую данные до сих пор предоставляются платным рекламодателям.

И даже больше: если Google действительно серьезно относится к защите конфиденциальности поисковых терминов, то стоило бы отключить ключевые слова в браузере chrome. Этого не произошло.

Слабая защита Google

Начиная с октябрьской истории, лучший вариант защиты, который мог измыслить Google для удержания данных о ключевых словах – это надуманные аргументы, который только ухудшают ситуацию.

Google говорит, что рекламодатели могут покупать различные ключевые слова, даже если информация о данных заблокирована для них. Рекламодатели все равно могут узнать условия поисковых результатов, просматривая AdWords.

Например, предположим, что кто-то сделал поиск в Google по "Travenor Johannisoon уклонение от уплаты налогов".  Я сделал это. На момент, когда я пишу это, веб-страницы, соответствующих результатов поиска в Google по словам "Травенор Йоханиссун"  от и до, нет. Но...

Если бы это был реальный человек, и кто-то сделал такой поисковой запрос, и если страница появилась в результатах Google, и кто-то воспользовался этой ссылкой – после этого условия поиска были бы связаны с этой веб-страницей.

Это может открыть издателям возможность просматривать веб-аналитику, на основе которой можно будет даже понять, уклоняется ли Травенор Йоханиссун от уплаты налогов и найти доказательства для его привлечения за это к ответственности. Если пользователь начнет копать, возможно, он сможет найти и такую информацию.

Конечно, вполне возможно, что подобного соглашения не существует. Может быть это только слухи. Любой может сделать любой поисковый запрос, и это не значит, что факт, введенный в поисковую строку, имеет место быть.

Более вероятно, что поисковые слова просто похоронены во всех прочих веб-аналитических данных, которые обычно получают сайты, так что подобный поисковой запрос останется вовсе незамеченным, не говоря уже о том, чтобы быть исследованным.

Дополнительные меры безопасности не добавляют дополнительной безопасности

Тем не менее, для большей безопасности Google остановил показ данных о ключевых словах, если поиск осуществляли авторизованные пользователей. Остановил для всех, кроме своих рекламодателей. Как я уже сказал, Google утверждает, что рекламодатели по-прежнему могут увидеть эту информацию, даже если она закрыта.

К примеру, известно, что кто-то разместил рекламу для поиска по словам «уклонение от уплаты налогов». Если кто-то нажал на объявление после выполнения поиска «Травенор Йохаисун, уклонение от уплаты налогов», эти слова будут переданы вместе через систему AdWords.

Зачем тогда блокировать?

Да, нарушение принципов приватности может произойти. Но если все дело в том, чтобы сделать подобные вещи более личными, тогда стоит заблокировать источники как и для рекламодателей, и для не-рекламодателей.  Но Google оставляет «дыры», где «Травенор Йоханиссун» может обнаружить свою частную жизнь, которая потенциально может попасть в AdWords.

Например, если кто-то сделал достаточно поисков по словам «Травенор» и «уклонение от уплаты налогов», которые могли бы привести к тому, что именно это словосочетание появится в качестве одного из предлагаемых поисковых вариантов в Google Instant.

Так зачем же все-таки блокировать?

Кроме того, в то время как Google блокирует реферы по поисковым запросам, он не блокирует запросы по ключевым словам и предоставляет отчеты через  Google Webmaster Central. Это означает, что результаты поиска по слову «Травенор» могут отображаться там.

Ничто не изменило мое мнение, что, несмотря на благие намерения Google, их политика блокирования источников только для не-рекламодателей невероятно лицемерна. Google декларирует желание защитить частную жизнь, но не забывает о своих собственных потребностях и желаниях рекламодателей.

Блокирование источников – это совершенно отдельный вопрос с шифрованием результатов поиска. Это хорошо и должно сохраняться. Но Google намеренно нарушает свой принцип шифрования, позволяя своим рекламодателям просматривать всю информацию. Google должен либо блокировать данные для всех, либо ни для кого. Не играйте в избранное с рекламодателями.

То, что Google и Bing должны сделать

Вот резюме и варианты движения вперед.

Bing должен восстановить командные линки, или создать новый Bing Site Explorer. Google необходимо убедиться, что его команда выдает линки в полном объеме и рассмотреть вариант создания своей версии Google Site Explorer. Для обоих возможность создания отчетов по опорным словам должна быть обязательной.

Если есть опасения по поводу нагрузки на сервер, эти инструменты можно сделать доступными только после авторизации. Хотя Yahoo удалось создать и поддерживать такой инструмент. Blekko предоставляет такую ​​статистику. Крошечные сторонние компании делают это. Основные поисковые системы тем более могут справиться с этим.

Что касается данных реферов, Google необходимо немедленно расширить объем данных отчетов Google Webmaster Central. В настоящее время показываются до 10000 терминов (Google говорит, что до 1000, но мы считаем, что это неправильно) за последние 30 дней.

В ноябре глава команды Google по борьбе со спамом Мэтт Каттс, который также участвовал в процессе шифрования, сказал на PubCon конференции, что Google рассматривает возможность расширения срока до 60 дней или числа запросов до 2000. 

Я думаю, что Google должен представлять отчеты даже за больший период, чем 60 дней. Я думаю, поисковик должен обеспечивать непрерывную отчетность и отображать исторические данные о сайтах, тем более что поисковик блокирует реферы. Google уже уничтожил исторические данные, что было поддержано медиа. Google уже позволил потерять данные тем пользователям, которые не заходят каждый день и не скачивают последнюю информацию.

Сейчас Google предоставляет скрипт Python, чтобы сделать загрузку легче. Но этого недостаточно. Google должен обеспечить представление исторических данных, охватывающих значительную часть сведений, которые есть у сайта. Это то, что нужно делать, и это должно было уже сделано.

То, что медиа могут сделать

Усилия против противодействия законам о пиратстве не сработают с поисковыми системами, поскольку две самые большие вещи, которые медиа могут «перенести» из Google и Bing – это их реклама и их веб-сайты. Но невозможно подсчитать, насколько гигантской будет потеря трафика в этом случае.

Впрочем, это не значит, что медиа бессильны.

Bing отчаянно пытается выглядеть «хорошим» поисковиком» в противовес «злобному» Google. Медиа должны, когда это уместно, напоминать Bing, что он тоже довольно «злобный», что он закрыл Yahoo Site Explorer и значительно сократил данные о командных ссылках.

Упоминайте о нем в блогах. Упоминайте его в твитах. Говорите о нем на конференциях.  Не дайте ему умереть. Спросите Bing, почему он не может сделать то немногое, что может Blekko.

Что касается Google, то давление относительно данных о линках, вероятно, лучше всего выражается в терминах релевантности. Почему Google намеренно пытается предотвратить изучение такого рода информации? Неужели поисковик боится, что это может выявить слабые места его значимости, а не создаст угрозу спама? Сделайте дискуссию более релевантной и это привлечет внимание и Google, и будет интересно не только в среде медиа.

Стоит также вопрос открытости. Google не должен проводить политику «открытости» выборочно, оставаясь закрытым тогда, когда это нужно Google, и толком это не аргументируя. В случае с закрытием данных о линках эти аргументы о «закрытости» не должны больше появляться.

Что касается данных о реферах, политика Google должна быть оспорена в трех направлениях.

Во-первых, Федеральная Торговая комиссия США намерена пообщаться с медиа в рамках своего антимонопольного расследования в отношении Google. Медиа, если их спросят, должны отметить, что путем удержания данных о реферах для всех, кроме рекламодателей Google, компания потенциально вредит  конкуренции. Обвинения в монополизме, кажется, должны действительно привлечь внимание Google, так что вы убедитесь, что резонанс будет создан. 

Во-вторых, спросите, почему Google намеренно оставляет «дыры» в конфиденциальности для поисковиков, которых он якобы пытается защитить. Если Google на самом деле беспокоит то, что появляется в результатах поиска, компания должна систематически проверять и чистить все свои сервисы: предлагаемые слова для поиска, отчетность в Google Webmaster Central, AdWords и реферы.

Наконец, сокрытие собственных данных. Вы подписались на обмен данными в Google Analytics, который начался еще в 2008 году? Если да, вот как можно отказаться от этого:

Чтобы отказаться, надо войти в систему, выбрать учетную запись, затем выбрать «Изменить аккаунт Google Analytics» рядом с названием учетной записи в окне Обзор, и вы увидите параметры, как показано выше.

Отказ означает, что вы не сможете использовать функцию сопоставительного анализа и Conversion Optimizer. Если вы хотите сохранить Conversion Optimizer, не отказывайтесь от обмена, или, в качестве альтернативы, скажите Google, что вы хотите использовать обмен данными исключительно для пользования этим продуктом, но не другими продуктами Google.

Google очень ценит данные. Закрытие собственных данных – альтернативный путь для издателей, чтобы выразить свое недовольство тем, что им не предоставляют. И это те вещи, которые Google заметит.