Google News now crawling with Googlebot

Четверг, 25 августа 2011 г.

Опубликовано также в
Google News Blog

Недавно Google News обновил нашу инфраструктуру для сканирования с помощью основного пользовательского агента Google,
Googlebot.
Что это значит? Очень мало для большинства издателей. Любые новостные организации, которые хотят отказаться
от Google News, могут продолжать это делать: Google News по-прежнему будет уважать запись robots.txt для
Googlebot-News, нашего бывшего пользовательского агента,
если она более строгая, чем запись robots.txt для Googlebot.

Наш Справочный центр предоставляет подробные
указания
по использованию протокола исключения роботов для Google News, и издатели могут обратиться в
Google News Support Team
, если у них возникнут какие-либо вопросы, но сначала мы хотели уточнить следующее:

• Хотя теперь в логах вашего сайта вы будете видеть только пользовательский агент Googlebot, беспокоиться не о чем:
  появление Googlebot вместо Googlebot-News не зависит от наших правил включения.
  (Вы всегда можете проверить, добавлен ли ваш сайт в Google News, выполнив поиск с помощью оператора “site:”.
  Например, введите “site:yournewssite.com” в поле поиска Google News,
  и если вы видите результаты, значит, в данный момент мы индексируем ваш новостной сайт.)
• Ваш инструмент аналитики по-прежнему сможет отличать пользовательский трафик, приходящий на ваш веб-сайт из
  Google Search, от трафика, приходящего из Google News, поэтому вы не должны заметить там никаких изменений.
  Основное отличие заключается в том, что вы больше не увидите периодических автоматических посещений вашего сайта
  краулером Googlebot-news.
• Если вы в настоящее время соблюдаете наши
  рекомендации для Googlebot,
  вам не нужно вносить какие-либо изменения в код вашего сайта. Сайты, которые внедрили
  подписки по модели с оплатой по мере использования или которые внедрили
  First Click Free
  , не заметить никаких изменений. Для сайтов, которые требуют регистрации, оплаты или входа в систему перед
  чтением любой полной статьи, Google News сможет сканировать и индексировать только заголовок и фрагмент,
  которые вы показываете всем пользователям, посещающим вашу страницу. Наши
  Рекомендации для веб-мастеров
  предоставляют дополнительную информацию о
  “клоакинге”
  (то есть о показе боту версии, отличной от той, которую видят пользователи). Узнайте больше о Google
  News и издателях по подписке в этой
  статье Справочного центра.
• Будьте уверены, ваш файл Sitemap по-прежнему будет сканироваться. Это изменение не влияет на то, как мы сканируем файлы Sitemap новостей. Если вы новостной издатель, который еще не настроил файл Sitemap новостей и заинтересован в том, чтобы
  начать, пожалуйста, следуйте нашей
  документации о Google News.
• Для любых издателей, которые хотят отказаться от Google News и остаться в Google Search, вы можете просто
  запретить Googlebot-news и разрешить Googlebot. Для получения дополнительной информации о том, как это сделать, обратитесь к нашей
  документации о robots.txt.

Как и в случае с любым веб-сайтом, время от времени нам необходимо обновлять нашу инфраструктуру. В то же
время мы хотим продолжать предоставлять как можно больше контроля новостным веб-сайтам. Мы надеемся, что
мы ответили на любые вопросы, которые могли у вас возникнуть по поводу этого обновления. Если у вас есть дополнительные вопросы,
пожалуйста, посетите наш
Справочный центр.

Опубликовано Дэвидом Смидрой (David Smydra), специалистом по продуктам Google News