Новый пользовательский агент для Новостей

Среда, 2 декабря 2009 г.

Сегодня мы анонсируем новый пользовательский агент для robots.txt под названием Googlebot-News, который предоставляет издателям еще больший контроль над их контентом. Если вы еще не слышали о
robots.txt, это общедоступный веб-стандарт, который используется
с 1994 года
и поддерживается всеми основными поисковыми системами и корректными «роботами», обрабатывающими веб. Когда поисковая система проверяет, есть ли у нее разрешение на сканирование и индексирование веб-страницы, механизм «проверки, разрешено ли нам сканировать эту страницу» называется robots.txt.

Издатели могли легко связаться с нами
через форму
если они не хотели попадать в Google Новости, но хотели присутствовать в индексе веб-поиска Google. Теперь издатели могут управлять своим контентом в Google Новостях еще более автоматизированным способом. Владельцы сайтов Googlebot-News могут просто добавлять специфические правила в свой файл robots.txt. Подобно пользовательским агентам Googlebot и Googlebot-Image , новый пользовательский агент
Googlebot-News можно использовать для указания того, какие страницы веб-сайта должны сканироваться и в конечном итоге появляться в Google Новостях.

Вот несколько примеров для издателей:

Включение страниц как в веб-поиск Google, так и в Новости:

Это самый простой случай. Фактически, для этого случая файл robots.txt даже не требуется.

Включение страниц в веб-поиск Google, но не в Новости:

Этот файл robots.txt указывает, что для общего веб-краулера Google под названием Googlebotфайлы не заблокированы, но пользовательский агент Googlebot-News заблокирован для всех файлов на веб-сайте.

Включение страниц в Google Новости, но не в веб-поиск Google:

При синтаксическом анализе файла robots.txt Google подчиняется наиболее конкретному правилу. Первые две строки сообщают нам, что Googlebot (пользовательский агент для веб-индекса Google) заблокирован для сканирования любых страниц сайта. Следующее правило, которое применяется к более специфическому пользовательскому агенту Google Новостей, отменяет блокировку Googlebot и дает разрешение Google Новостям сканировать страницы с веб-сайта.

Блокировка разных наборов страниц от веб-поиска Google и Google Новостей:

Страницы, заблокированные от веб-поиска Google и Google Новостей, можно контролировать независимо. Этот файл robots.txt блокирует последние новостные статьи (URL-адреса в папке /latest_news) от веб-поиска Google, но позволяет им появляться в Google Новостях. И наоборот, он блокирует премиум-контент (URL-адреса в папке /archives) от Google Новостей, но позволяет им появляться в веб-поиске Google.

Запрет веб-поиску Google и Google Новостям сканировать страницы:

Этот файл robots.txt сообщает Google, что Googlebot, пользовательский агент для нашего краулера веб-поиска, не должен сканировать какие-либо страницы сайта. Поскольку для Googlebot-News не задано конкретное правило, наш поиск по Новостям будет подчиняться общим рекомендациям для Googlebot и не будет сканировать страницы для Google Новостей.

Для некоторых запросов мы отображаем результаты из Google Новостей в отдельном поле или блоке на странице результатов веб-поиска вместе с нашими обычными результатами веб-поиска. Иногда мы делаем это также для Картинок, Видео, Карт и Товаров. Это известно как
результаты универсального поиска. Поскольку Google Новости обеспечивают результаты универсального поиска “Новости”, если вы заблокируете пользовательский агент
Googlebot-News , новостные статьи вашего сайта не будут включены в результаты универсального поиска.

В настоящее время мы тестируем нашу поддержку нового пользовательского агента. Если вы заметите какие-либо проблемы
пожалуйста, дайте нам знать. Обратите внимание, что
Google может
в некоторых ситуациях выдавать ссылку на страницу, даже если мы не сканировали эту страницу. Если вы хотите
прочитать больше о robots.txt, мы предоставляем дополнительную документацию на нашем веб-сайте. Мы надеемся, что веб-мастера оценят гибкость и более простое управление, которые обеспечивает пользовательский агент Googlebot-News.

Автор:
Jonathan Simon,
Аналитик тенденций для веб-мастеров