Говорим на языке роботов

Четверг, 27 марта 2008 г.

Мы все знаем,
насколько дружелюбен Googlebot.
И как все благожелательные роботы, Googlebot прислушивается к нам и уважает наши пожелания относительно частей
нашего сайта, которые мы не хотим индексировать. Мы можем просто предоставить Googlebot файл robots.txt, объясняющий, что
нам нужно, и он с радостью подчинится. Но что, если вас путает идея общения
напрямую с Googlebot? В конце концов, не все из нас свободно владеют языком
robots.txt. Именно поэтому
мы рады представить вам вашего личного робота-переводчика: Генератор Robots.txt в
Webmaster Tools.
Он разработан, чтобы предоставить вам простой и интерактивный способ создания файла robots.txt. Это может быть так же
просто, как ввести файлы и каталоги, которые вы не хотите индексировать для каких-либо роботов.

Или, если нужно, вы можете создать детальные правила для конкретных роботов и разделов вашего сайта.

После того, как вы закончите с генератором, вы можете протестировать эффекты вашего нового файла robots.txt с помощью
нашего
инструмента анализа robots.txt,
по завершении просто сохраните созданный файл в корневой каталог вашего сайта,
и все готово. Есть несколько важных вещей, о которых следует помнить в отношении файлов robots.txt:

• Не каждая поисковая система поддерживает каждое расширение файлов robots.txt
  Генератор Robots.txt создает файлы, которые поймет Googlebot, и большинство других крупных
  роботов тоже их поймут. Но вполне возможно, что некоторые роботы не поймут все
  функции robots.txt, которые использует генератор.
• Robots.txt — это просто запрос
  Хотя это крайне маловероятно со стороны крупной поисковой системы, существуют недобросовестные роботы,
  которые могут игнорировать содержимое robots.txt и все равно индексировать заблокированные области. Если у вас есть конфиденциальный
  контент, который вам нужно полностью защитить, вам следует защитить его паролем, а не
  полагаться на robots.txt.

Мы надеемся, что этот новый инструмент поможет вам донести свои пожелания до Googlebot и других роботов, посещающих
ваш сайт. Если вы хотите узнать больше о файлах robots.txt, ознакомьтесь с
нашим Справочным центром. А если вы хотите обсудить
robots.txt и роботов с другими вебмастерами, посетите нашу
Группу помощи Google для вебмастеров.

Автор: Шон Хардинг, команда Webmaster Tools