Бюджет сканирования — это пересечение двух факторов: лимита частоты сканирования (сколько запросов Google может обработать без перегрузки вашего сервера) и потребности в сканировании (сколько страниц Google хочет получить, основываясь на популярности и актуальности).
Кому действительно стоит об этом задуматься
Google прямо заявляет, что большинству сайтов это не нужно. Данный вопрос становится актуальным для сайтов с числом URL примерно более миллиона, которые регулярно меняются, или для средних сайтов (от 10 000 URL) с очень часто обновляемым контентом. Ниже этого порога, если страницы не индексируются, причина почти всегда кроется в качестве или доступности для обнаружения, а не в бюджете.
Что приводит к его растрате
- Фасетная навигация, создающая бесконечные комбинации URL
- Идентификаторы сессий и параметры отслеживания в URL
- Soft 404 страницы, возвращающие код ответа 200
- Бесконечные календари и архивы с пагинацией без конца
- Дублирующийся контент в различных вариациях параметров
Alien Road рекомендует: перед оптимизацией бюджета сканирования проверьте логи сервера. Мы запрашиваем «сырые» логи для каждого проекта с крупными сайтами, потому что они показывают, что именно запрашивал Googlebot, и в большинстве случаев сканирование уходит на параметрические URL, о существовании которых никто не знал. Исправление этой проблемы происходит быстрее и безопаснее, чем любая директива, которую вы можете добавить.
Как мы это применяем
Crawl budget matters on large sites and is a distraction on small ones. Our threshold matches Google’s: below roughly ten thousand URLs we do not touch it, and above that we start with server logs rather than with crawl-budget theories.
Связанные услуги