Google анализирует файл по особым правилам, которые отличаются от наивных ожиданий. Если вы ошибетесь, это обычно приводит к молчаливому сбою.
Приоритет
Самое специфичное правило побеждает, измеряется по длине пути. Если Disallow: /folder/ и Allow: /folder/page оба совпадают, побеждает более длинный Allow . Когда правила одинаково специфичны, применяется наименее ограничивающее.
Подстановочные знаки
*соответствует любой последовательности символов.$закрепляет конец URL.Disallow: /*.pdf$блокирует PDF, но не/file.pdf?download=1.
Группы User-agent
Краулер подчиняется самой специфичной группе, которая его называет, и игнорирует все остальные. Правило в User-agent: * не объединяется с правилами в User-agent: Googlebot, если существует группа Googlebot, группа с подстановочными знаками полностью игнорируется для Googlebot.
Ограничения
Google считывает до 500 КБ; все, что больше, игнорируется. Комментарии начинаются с #. Ответ 4xx рассматривается как “нет ограничений”; постоянный 5xx рассматривается как “запретить все”.
Alien Road рекомендует: тестируйте каждое изменение в тестере robots.txt в Search Console перед развертыванием. Правило группы user-agent постоянно ловит людей, добавление строки, специфичной для Googlebot, молча деактивирует все правила с подстановочными знаками, которые у вас были, и файл все равно выглядит правильно для читателя-человека.
Как мы это применяем
The parsing rules here settle most robots.txt arguments. We keep this open during technical reviews because teams routinely assume a directive works in a way the specification does not support.
Связанные услуги