Crawl-delay игнорируется Яндексом с 22 февраля 2018 года. Любой сайт, на котором все еще прописана эта директива, содержит строку кода, которая ничего не делает.
Что пришло ей на смену
Настройка скорости обхода в Яндекс Вебмастере в разделе Индексация → Скорость обхода. По умолчанию она работает в автоматическом режиме, рассчитанном на загрузку максимально возможного количества страниц без перегрузки сервера, и может быть задана вручную для каждого сайта — а также отдельно для каждого поддомена.
Почему это изменение пошло на пользу
Директива в файле статична и слепа: она применяет одинаковую задержку независимо от того, простаивает сервер или испытывает нагрузку, и замедляет робота даже при наличии свободных ресурсов. Настройка в консоли — это рекомендация, которую Яндекс соотносит со своими данными о сайте, а автоматический режим подстраивается под ситуацию.
Прежде чем вообще использовать её
Здесь применима рекомендация Яндекса по скорости обхода: выясните, что именно запрашивает робот, прежде чем замедлять его. Если нагрузка создается комбинациями фильтров, URL-адресами сессий и результатами внутреннего поиска — как это обычно и бывает —, правильным решением будет Disallow или Clean-param, что устраняет лишние запросы и возвращает крал-бюджет реальным страницам. Снижение скорости сохраняет мусор и одновременно замедляет всё остальное.
Наведение порядка
Удалите Crawl-delay из robots.txt при следующем редактировании файла. Она не оказывает никакого влияния на Яндекс, некоторые другие краулеры все еще учитывают ее, а ее сохранение создает видимость контроля скорости там, где его нет — именно такие предположения часто переживают людей, написавших файл.
Где реальное ограничение все еще работает
Если трафик роботов представляет собой реальную операционную проблему, настройка в консоли является единственным инструментом управления со стороны Яндекса, и ее необходимо настраивать отдельно для основного домена и каждого поддомена. Скорость, заданная для главного домена, никак не повлияет на поддомен, который действительно испытывает нагрузку.
Как мы это применяем
We remove stale Crawl-delay lines when auditing, because their presence convinces teams that crawl rate is under control when it is not. The per-subdomain requirement is the detail that catches people: the load is usually on one subdomain, and the setting applied to the main domain has no effect there at all.
Связанные услуги