Скорость обхода — это количество запросов в секунду, которые робот отправляет на ваш сайт. По умолчанию она устанавливается автоматически, и алгоритм Yandex стремится загрузить как можно больше страниц, не перегружая сервер. Ее нужно настраивать отдельно для основного домена и каждого поддомена.
Прежде чем уменьшать ее,
Yandex сначала просит провести диагностику, и этот порядок выбран неслучайно. Если роботный трафик вредит серверу, выясните, что именно запрашивает робот:
- Изучите логи сервера.
- Откройте Индексирование → Статистика обхода в режиме Все страницы и найдите служебные страницы и дубли — обычно это URL с GET-параметрами.
Если робот тратит свой бюджет на комбинации фильтров и URL сессий, правильным решением будет прописать Disallow в robots.txt, проверив это с помощью инструмента анализа robots.txt, а не снижать скорость обхода. Снижение скорости лечит симптом и замедляет страницы, которые вы действительно хотите видеть в индексе. Это различие составляет все содержание страницы.
Увеличение
Значение является рекомендацией. Yandex прямо заявляет, что фактическая скорость может отличаться в зависимости от того, что ему известно о сайте. Большее число не гарантирует более быструю индексацию сайта, который у робота нет причин обходить интенсивнее.
Как ее настроить
Индексирование → Скорость обхода, переключите в режим Установить вручную, сдвиньте ползунок (он начинается с рассчитанного оптимума) и сохраните.
Когда ручной режим оправдан
В условиях общего хостинга (shared hosting), где роботный трафик заметно увеличивает время ответа, при проведении запланированных работ, когда важен запас мощности, или для сайта за слоем ограничения частоты запросов (rate-limiting), который начинает возвращать ошибки при нагрузке от обхода. Во всех остальных случаях автоматический режим является лучшим выбором, а установленное много лет назад и забытое ручное значение служит скрытым ограничителем того, как быстро обнаруживаются новые страницы.
Как мы это применяем
The first thing we check when a client asks us to slow the robot down is what it is actually fetching, because it is nearly always filter and parameter URLs rather than real pages. Blocking those returns both the server load and the crawl budget; lowering the rate returns only the load, and costs indexing speed on the pages that matter. We also make a point of looking for a manual rate someone set during a long-forgotten incident.
Связанные услуги