Krawl büdcəsi iki şeyin kəsişməsidir: krollanma sürəti limiti (Google-un serverinizi yükləmədən nə qədər məlumat çəkə biləcəyi) və krollanma tələbatı (populyarlıq və köhnəlməyə əsasən Google-un nə qədər məlumat çəkmək istədiyi).
Bunu kimlər həqiqətən düşünməlidir
Google açıq şəkildə bildirir ki, əksər saytlar üçün bu vacib deyil. Bu, müntəzəm olaraq dəyişən bir milyondan çox URL-i olan saytlar və ya məzmunu çox tez-tez dəyişən orta ölçülü saytlar (10 000+ URL) üçün aktual olur. Bu həddən aşağıda, əgər səhifələr indekslənmirsə, səbəb demək olar ki, həmişə büdcədən deyil, keyfiyyət və ya tapıla bilmədəndir.
Nə onu boşa xərcləyir
- Sonsuz URL kombinasiyaları yaradan faceted naviqasiya
- URL-lərdəki sessiya ID-ləri və izləmə parametrləri
- 200 status kodu qaytaran Soft 404 səhifələri
- Sonu olmayan sonsuz təqvimlər və səhifələnmiş arxivlər
- Parametr variantları üzrə təkrar məzmun
Alien Road tövsiyə edir: crawl büdcəsini optimallaşdırmadan əvvəl server loqlarını yoxlayın. Biz hər bir böyük sayt layihəsində xam loqları tələb edirik, çünki onlar Googlebot-un əslində nə tələb etdiyini göstərir və əksər hallarda krollanma heç kimin xəbəri olmayan parametr URL-lərinə sərf olunur. Bunu düzəltmək əlavə edə biləcəyiniz istənilən direktivdən daha sürətli və təhlükəsizdir.
Bunu necə tətbiq edirik
Crawl budget matters on large sites and is a distraction on small ones. Our threshold matches Google’s: below roughly ten thousand URLs we do not touch it, and above that we start with server logs rather than with crawl-budget theories.
Əlaqəli xidmətlər