Робот планирует свои визиты и автоматически регулирует нагрузку. Запросы могут резко возрасти, когда он обнаруживает новый раздел, структурные изменения или пакет новых URL-адресов. Рекомендация Яндекса: диагностика перед троттлингом.
Диагностика
- Сравните загруженные страницы с страницами в поиске на странице «Мои сайты». Большой разрыв означает, что робот находит много похожих или дублирующихся страниц, которые не должны индексироваться.
- Откройте статистику обхода (Crawl statistics) или логи сервера и посмотрите, что именно он скачал. Обратите внимание на URL-адреса с GET-параметрами — комбинации фильтров, такие как
?price=1,000&max_price=1,000,000, или URL внутреннего поиска, например?search=…. Яндекс прямо указывает на эту трату ресурсов: робот обходит эти разные URL-адреса, а их идентичный контент все равно не может участвовать в поиске.
Два средства устранения, по порядку
Clean-param— направляет робота на канонический URL среди дубликатов, переносит на него накопленные метрики и позволяет нагрузке постепенно снижаться.Disallow— быстрый вариант: робот перестает обращаться к указанным страницам в течение 24 часов после изменения файла. Используйте его, когда нагрузка стала реальной проблемой.
Если нагрузка действительно не связана с дополнительными страницами
Два варианта: настроить сервер на ответ 429 Too Many Requests, что говорит Яндексу о том, что сервер испытывает трудности, и он уменьшит количество запросов; или задать скорость обхода вручную в консоли. 429 Этот путь предпочтительнее, так как он динамический — он применяется, когда сервер находится под нагрузкой, и отключается, когда нет.
Поддомены
Яндекс рассматривает каждый поддомен как отдельный сайт и обходит каждый из них, поэтому совокупная нагрузка может резко возрасти без какого-либо необычного поведения отдельного сайта. Если логи сервера показывают, что большинство запросов идет на поддомены, Яндекс предлагает нечто более радикальное, чем ограничение скорости: пересмотреть, нужны ли поддомены вообще и не послужат ли региональные разделы основного сайта посетителям ничуть не хуже.
Как мы это применяем
The 24-hour figure for Disallow taking effect is the one to know during an incident — it is the fastest lever available. But we always look at the loaded-versus-in-search gap first, because the load is nearly always filter URLs, and blocking those returns both the capacity and the crawl budget. Configuring 429 is worth doing once on any site with a history of load problems: it is self-regulating in a way a fixed crawl rate is not.
Связанные услуги