Упрощение проверки файлов robots.txt

Среда, 16 июля 2014 г.

Сканировать или не сканировать — вот в чем вопрос robots.txt.

Создание и поддержка правильных файлов robots.txt иногда может быть сложной задачей. В то время как для большинства сайтов это просто (совет: им часто вообще не нужен файл robots.txt!), поиск правил в большом файле robots.txt, которые блокируют или блокировали отдельные URL-адреса, может быть довольно сложной задачей. Чтобы упростить эту задачу, мы объявляем об обновлении
инструмента тестирования robots.txt
в Инструментах веб-мастера.

Вы можете найти обновленный инструмент тестирования в
Инструментах веб-мастера
в разделе «Сканирование»:

Здесь вы увидите текущий файл robots.txt и сможете протестировать новые URL-адреса, чтобы узнать, запрещено ли их сканирование. Чтобы помочь вам разобраться в сложных правилах, он выделит конкретное правило, которое привело к окончательному решению. Вы можете вносить изменения в файл и тестировать их тоже, вам просто нужно будет загрузить новую версию файла на свой сервер после этого, чтобы изменения вступили в силу. На нашем сайте для разработчиков есть
подробная информация о правилах robots.txt и обработке файлов.

Кроме того, вы сможете просматривать старые версии вашего файла robots.txt и видеть, когда проблемы с доступом мешают нам выполнять сканирование. Например, если Googlebot видит 500 ошибку сервера для
файла robots.txt

мы, как правило, приостанавливаем дальнейшее сканирование веб-сайта.
Поскольку для ваших существующих сайтов могут отображаться некоторые ошибки или предупреждения, мы рекомендуем дважды проверить их файлы robots.txt. Вы также можете комбинировать его с другими частями Инструментов веб-мастера: например, вы можете использовать обновленный инструмент
Fetch as Google tool

, чтобы отобразить важные страницы вашего сайта. Если сообщается о каких-либо заблокированных URL-адресах, вы можете использовать этот тестер robots.txt, чтобы найти правило, которое их блокирует, и, конечно же, улучшить его. Распространенная проблема, с которой мы столкнулись, связана со старыми файлами robots.txt, которые блокируют CSS, JavaScript или мобильный контент — исправить это часто проще простого, как только вы это увидите.
Мы надеемся, что этот обновленный инструмент облегчит вам тестирование и обслуживание файла robots.txt. Если у вас возникнут вопросы или вам понадобится помощь в создании хорошего набора правил, вы можете зайти на!

наш форум помощи веб-мастерам Автор:Asaph Arnon