Анализ Robots.txt

Анализатор robots.txt выполняет три задачи: проверяет файл на валидность, тестирует на нем конкретные URL и ведет историю изменений. Третья функция — та, которой никто не пользуется, но именно она быстрее всего разрешает инциденты.

Валидация

Для подтвержденного сайта файл появляется автоматически; в противном случае введите адрес. Разделы, адресованные Yandex (User-agent: Yandex или *), сверяются с собственными правилами Yandex, а остальные разделы — с общим стандартом. Именно поэтому файл, успешно прошедший общую проверку, здесь может получить ошибку.

Результаты делятся на предупреждения (отклонения, которые инструмент может исправить самостоятельно, или возможные опечатки) и ошибки (строка, раздел или весь файл, которые не удается обработать).

Тестирование URL — то, что действительно имеет значение

В разделе Проверить, разрешены ли URL можно указать список полных или относительных адресов, и каждый из них будет помечен как разрешенный или заблокированный. Это единственный надежный способ узнать, что именно делает файл, так как здесь применяются реальные правила приоритета: блокировка Yandex имеет приоритет над подстановочным знаком, а блокировка конкретного робота — над обеими.

Проверяйте оба направления: URL, которые должны быть доступны для сканирования, и те, которые не должны. Синтаксически безупречный файл, блокирующий не тот каталог, не выдает никаких ошибок вообще.

История изменений

История за шесть месяцев, до 100 сохраненных версий, доступных для скачивания. Когда индексация внезапно меняется, первый вопрос заключается в том, изменился ли этот файл, и история отвечает на него с указанием даты, избавляя от необходимости заглядывать в чей-либо журнал деплоя. В сочетании с уведомлением «robots.txt изменен» это превращает невидимую категорию инцидентов в отслеживаемую.

Практика работы

Создайте черновик в инструменте, проверьте его, протестируйте список URL и только после этого копируйте на сайт. Редактирование файла «на живую» с последующей проверкой — это путь, из-за которого сайты неделями остаются заблокированными. Поскольку файл запрашивается роботом несколько раз в день, ошибка распространяется мгновенно.