Все о Googlebot

Суббота, 19 августа 2006 г.

В последнее время я видел много вопросов о файлах robots.txt и поведении Googlebot. На прошлой неделе на SES я выступал на новой панели под названием
«Курс послушания для ботов». А несколько дней назад я и другие сотрудники Google отвечали на вопросы на
форумах WebmasterWorld. Вот некоторые из вопросов, которые мы получили:

Если мой сайт закрыт на техническое обслуживание, как сказать Googlebot, чтобы он зашел позже, вместо индексации страницы «сайт на техобслуживании»?
Вы должны настроить свой сервер так, чтобы он возвращал
статус 503 (сеть недоступна)
вместо 200 (успешно) , а неЭто дает понять Googlebot, что страницы следует попытаться загрузить позже.

Что делать, если Googlebot слишком часто сканирует мой сайт? Вы можете
связаться с нами
— мы поработаем с вами, чтобы убедиться, что мы не перегружаем пропускную способность вашего сервера. Мы экспериментируем с функцией в Инструментах для веб-мастеров, которая позволяет вам оставлять отзывы о частоте сканирования, и до сих пор получали отличные отзывы, поэтому надеемся скоро предложить ее всем.

Что лучше использовать: метатег robots или файл robots.txt? Googlebot подчиняется обоим вариантам, но
метатеги применяются только к отдельным страницам. Если у вас есть ряд страниц, которые вы хотите исключить из сканирования, вы можете структурировать свой сайт так, чтобы легко использовать файл robots.txt для блокировки этих страниц (например, поместить страницы в один каталог).

Если мой файл robots.txt содержит правило для всех ботов, а также конкретное правило для Googlebot, как Googlebot интерпретирует строку, адресованную всем ботам?
Если ваш файл robots.txt содержит глобальное правило плюс правило специально для Googlebot, Googlebot подчиняется строкам, адресованным именно ему. Например, для этого файла robots.txt:

Googlebot просканирует все на сайте, кроме страниц в каталоге cgi-bin.

Для этого файла robots.txt:

Googlebot не будет сканировать никакие страницы сайта.

Если вы не уверены, как Googlebot интерпретирует ваш файл robots.txt, вы можете использовать наш
инструмент анализа robots.txt
, чтобы протестировать его. Вы также можете проверить, как Googlebot будет интерпретировать изменения в файле.

Для получения полной информации о том, как Googlebot и другие агенты пользователя Google обрабатывают файлы robots.txt, см. наш центр справки для веб-мастеров.