Устранение неполадок с заблокированными URL

Вторник, 19 сентября 2006 г.

Ванесса в последнее время много пишет, и я начинаю чувствовать себя обделенным моим вниманием. Поэтому вот вам моя капля мудрости: я заметил, что некоторые веб-мастера путаются из-за ошибокзаблокировано в robots.txt, и я хотел поделиться шагами, которые я предпринимаю при отладке проблем с
robots.txt :

Удобный контрольный список для отладки заблокированного URL

Предположим, вы просматриваете ошибки сканирования своего веб-сайта и замечаете URL, ограниченный файлом robots.txt, который вы не планировали блокировать:

Проверьте инструмент анализа robots.txt

Первое, что вам следует сделать, это перейти к
инструменту анализа robots.txt
для этого сайта. Убедитесь, что вы просматриваете правильный сайт для этого URL, обращая внимание на то, что вы используете правильный протокол и поддомен. (У поддоменов и протоколов могут быть собственные файлы robots.txt, поэтому https://www.example.com/robots.txt может отличаться от
https://example.com/robots.txt и может отличаться от
https://amanda.example.com/robots.txt.) Вставьте заблокированный URL в поле «Проверка URL-адресов в этом файле robots.txt». Если инструмент сообщает, что он заблокирован, вы нашли свою проблему. Если инструмент сообщает, что он разрешен, нам нужно провести дальнейшее расследование.

В верхней части инструмента анализа robots.txt обратите внимание на
код состояния HTTP. Если мы сообщаем о чем-либо, кроме 200 (Успешно) или
404 (Не найдено) , значит, мы не можем получить доступ к вашему файлу robots.txt, что останавливает процесс сканирования. (Обратите внимание, что в верхней части этого инструмента вы можете увидеть время последнего скачивания вашего файла robots.txt. Если вы вносите изменения в свой файл, проверьте эту дату и время, чтобы узнать, были ли ваши изменения сделаны после нашей последней загрузки.)

Проверьте изменения в файле robots.txt

Если здесь все выглядит нормально, вы можете проверить, изменился ли ваш файл robots.txt с момента возникновения ошибки, проверив дату его последнего изменения. Если он был изменен после даты, указанной для ошибки в отчете об ошибках сканирования, возможно, кто-то изменил файл так, что новая версия больше не блокирует этот URL.

Проверьте перенаправления URL

Если вы уверены, что этот URL не заблокирован, проверьте, перенаправляется ли он на другую страницу. Когда Googlebot запрашивает URL, он проверяет файл robots.txt, чтобы убедиться, что ему разрешен доступ к URL. Если файл robots.txt разрешает доступ к URL, но сам URL возвращает перенаправление, Googlebot снова проверяет файл robots.txt, чтобы узнать, доступен ли целевой URL. Если в какой-то момент Googlebot перенаправляется на заблокированный URL, он сообщает, что не смог получить содержимое исходного URL, так как тот был заблокирован файлом robots.txt.

Иногда такое поведение легко заметить, потому что конкретный URL всегда перенаправляет на другой. Но иногда это бывает сложно выяснить. Например:

• На вашем сайте может вообще не быть файла robots.txt (и поэтому разрешен доступ ко всем страницам), но какой-то URL на сайте может перенаправлять на другой сайт, у которого есть файл robots.txt. В этом случае вы можете увидеть URL, заблокированные robots.txt для вашего сайта (даже если у вас нет файла robots.txt).
• Ваш сайт может запрашивать регистрацию после определенного количества просмотров страниц. Возможно, страница регистрации заблокирована файлом robots.txt. В этом случае сам URL может не перенаправлять, но если Googlebot при доступе к URL активирует запрос регистрации, он будет перенаправлен на заблокированную страницу регистрации, и исходный URL появится на странице ошибок сканирования как заблокированный robots.txt.

Обратитесь за помощью

Наконец, если вы все еще не можете точно определить проблему, вы можете написать на нашем
форуме
за помощью. Обязательно укажите заблокированный URL в своем сообщении. Иногда другим проще заметить упущения, которые вы могли пропустить.

Успешной отладки! И кстати (не связано с robots.txt), убедитесь, что у вас нет тегов noindex meta в верхней части ваших веб-страниц; они также приводят к тому, что Google не показывает веб-сайт в нашем индексе.