Анализ файла robots.txt

10 февраля 2006 г.

Ранее на этой неделе мы рассказали вам о функции, которую мы сделали доступной через программу Sitemaps и которая
анализирует файл robots.txt для сайта.
Вот более подробная информация об этой функции.

Что означает этот анализ

Инструмент Sitemaps robots.txt считывает файл robots.txt так же, как это делает Googlebot. Если инструмент интерпретирует строку как синтаксическую ошибку, Googlebot не понимает эту строку. Если инструмент показывает, что URL разрешен, Googlebot интерпретирует этот URL как разрешенный.

Этот инструмент предоставляет результаты только для пользовательских агентов Google (таких как Googlebot). Другие боты могут интерпретировать файл robots.txt иначе. Например, Googlebot поддерживает расширенное определение стандарта. Он понимает Allow: строки, а также
* и $. Поэтому, хотя инструмент показывает строки, включающие эти расширения, как понятные, помните, что это относится только к Googlebot и не обязательно к другим ботам, которые могут сканировать ваш сайт.

Сайты в подкаталогах

Файл robots.txt действителен только тогда, когда он находится в корне сайта. Поэтому, если вы просматриваете сайт в своей учетной записи, который расположен в подкаталоге (например,
https://www.example.com/mysite/), мы показываем вам информацию о файле robots.txt в корне (https://www.example.com/robots.txt). У вас может не быть доступа к этому файлу, но мы показываем его вам, потому что файл robots.txt может влиять на сканирование вашего сайта в подкаталоге, и вы можете захотеть убедиться, что он разрешает URL-адреса так, как вы ожидаете.

Тестирование доступа к каталогам

Если вы тестируете URL, который ведет к файлу (например,
https://www.example.com/myfile.html), этот инструмент может определить, разрешает или блокирует файл robots.txt этот файл. Если вы тестируете URL, который ведет к каталогу (например,
https://www.example.com/folder1/), этот инструмент может определить, разрешает или блокирует файл robots.txt доступ к этому URL, но он не может сообщить вам о доступе к файлам внутри этой папки. В файле robots.txt могли быть установлены ограничения на URL-адреса внутри папки, которые отличаются от URL самой папки.

Рассмотрим этот файл robots.txt:

Если вы протестируете https://www.example.com/folder1/, инструмент скажет, что он заблокирован. Но если вы протестируете https://www.example.com/folder1/myfile.html, вы увидите, что он не заблокирован, несмотря на то, что находится внутри folder1.

Синтаксис не понят

Вы можете увидеть ошибку «синтаксис не понят» по нескольким разным причинам. Самая распространенная из них заключается в том, что Googlebot не смог разобрать строку. Однако другими возможными причинами являются:

• На сайте нет файла robots.txt, но сервер возвращает статус 200 для страниц, которые не найдены. Если сервер настроен таким образом, то когда Googlebot запрашивает файл robots.txt, сервер возвращает страницу. Однако эта страница на самом деле не является файлом robots.txt, поэтому Googlebot не может ее обработать.
• Файл robots.txt не является действительным файлом robots.txt. Если Googlebot запрашивает файл robots.txt и получает файл другого типа (например, файл HTML), этот инструмент не будет показывать синтаксическую ошибку для каждой строки в файле. Вместо этого он показывает одну ошибку для всего файла.
• Файл robots.txt содержит правило, которому Googlebot не следует. Некоторые пользовательские агенты подчиняются правилам, отличным от
  стандарта robots.txt. Если Googlebot сталкивается с одним из более распространенных дополнительных правил, инструмент перечисляет их как синтаксические ошибки.

Известные проблемы

Мы работаем над несколькими известными проблемами с инструментом, включая то, как инструмент обрабатывает регистр символов, и анализ с пользовательскими агентами Google, отличными от Googlebot. Мы будем держать вас в курсе по мере решения этих проблем.

Опубликовано Vanessa Fox