Анализатор robots.txt в консоли сообщает об ошибках и предупреждениях, несколько из которых являются расширениями Яндекса — правилами, которые файл может нарушать в Яндексе, не нарушая их больше нигде. Именно это различие делает данную справку важной: файл, который проходит проверку парсером Google, все равно может быть отклонен здесь.
Ошибки, с отмеченными специфичными для Яндекса
- Правило не начинается с / или * (Расширение Яндекса) — правило может начинаться только с этих символов.
- Несколько
User-agent: *правил — допускается только один такой блок. - Превышен лимит размера файла (Yandex) — файл превышает 2048 правил. С этим сталкиваются сгенерированные robots.txt файлы на крупных каталогах.
- Перед правилом отсутствует директива User-agent — правила должны следовать за строкой
User-agent. Яндекс добавляет вероятную причину: пустая строка послеUser-agent, которая завершает блок. Файл выглядит корректно, а расположенные ниже правила ни к кому не применяются. - Правило слишком длинное (Yandex) — более 1024 символов.
- Неверный URL файла Sitemap (Yandex) — карта сайта должна быть указана полностью, включая протокол. Относительный путь — частая и незаметная ошибка.
- Неверный формат Clean-param (Yandex) — один или несколько параметров, разделенных
&, затем пробел и префикс пути.
Предупреждения
Недопустимый символ (любые спецсимволы, кроме * и $); неизвестная директива (отсутствует в правилах Яндекса — часто это допустимая директива для другой поисковой системы, из-за чего это предупреждение, а не ошибка); синтаксическая ошибка в строке, которую не удается интерпретировать; и неизвестная ошибка, требующая обращения в службу поддержки.
Ошибки валидации URL
При проверке конкретного URL по файлу: синтаксическая ошибка в URL или «этот URL не принадлежит вашему домену» — что обычно означает, что вы вставили альтернативный адрес сайта вместо основного. Учитывая то, как Яндекс обрабатывает зеркала, эту ошибку легко совершить и трудно заметить.
Как правильно использовать анализатор
Не ограничивайтесь сообщением «нет ошибок». Введите URL, которые, по вашему мнению, должны сканироваться, и те, которые должны быть заблокированы, и подтвердите вердикт для каждого. Синтаксически идеальный файл, блокирующий не ту директорию, не выдает никаких ошибок вообще.
Как мы это применяем
The two findings we hit most often are the empty line after User-agent, which silently detaches every rule beneath it, and a relative sitemap path that Yandex simply ignores. Neither shows up as a visible problem — the file is served, the syntax looks fine, and the rules do nothing. We always test specific URLs rather than trusting a clean parse, and we test them against the primary address, because the alternate one returns a confusing domain error.
Связанные услуги