Частота краулинга (抓取频次) — это то, как часто Baiduspider посещает сайт, и платформа отображает этот показатель вместе с диагностикой краулинга и отчетом об исключениях при краулинге. В совокупности эти три отчета отвечают на большинство вопросов об индексации.
Что это определяет
Baidu четко описывает эту цепочку в своем руководстве по объему индекса: объем и частота публикаций подпитывают квоту сайта; когда они падают, частота краулинга падает первой, а следом за ней идет объем индекса. Таким образом, частота краулинга является опережающим индикатором — она меняется раньше цифр, о которых кто-либо отчитывается.
Производительность и доступность сервера также влияют на нее. Медленный или периодически недоступный сайт сканируется более осторожно — именно так дешевый хостинг становится проблемой для поиска.
Три отчета
- Частота краулинга — тренд. Падение без изменения объема публикаций указывает на проблемы с доступностью или доверием.
- Диагностика краулинга — запросите конкретный URL от имени Baiduspider и посмотрите, что он получает. Окончательный ответ на вопрос “может ли паук прочитать эту страницу”.
- Исключения краулинга — ошибки, возникающие при сканировании: сбои DNS, тайм-ауты соединения, заблокированные запросы. Именно здесь становится заметен бот-фильтр или файрвол, отклоняющий Baiduspider.
Порядок диагностики
- Упала ли частота краулинга раньше объема индекса? Если да, работайте с причинами квот: частотой публикаций, доступностью, доверием.
- Есть ли исключения краулинга? Исправьте доступ в первую очередь — ничто из последующего не имеет значения, если паук не может добраться до сайта.
- Показывает ли диагностика краулинга страницу должным образом? Страница, успешно загруженная, но не содержащая ничего читаемого, — это проблема рендеринга, а не сканирования.
Рычаг, который действительно работает
Не просить о большем сканировании, а удалять мусор и добавлять смысл. Блокируйте комбинации фильтров, результаты внутреннего поиска и дубликаты параметров, чтобы емкость уходила на реальные страницы; публикуйте контент регулярно, чтобы квота росла; поддерживайте сервер быстрым и доступным, чтобы краулер не задерживался. Каждый из этих факторов находится под контролем сайта, и вместе они составляют то, из чего на самом деле состоит управление краулинговым бюджетом.
Как мы это применяем
Crawl frequency is the first number we look at when anything indexing-related is reported, because it moves before index volume and before traffic. The exceptions report is where we find bot filters rejecting Baiduspider — invisible everywhere else, and the single most common reason a technically sound site is barely crawled.
Связанные услуги