Crawling infrastructure

Google-un indeksləmə sürətini azaldın

Google-un indeksləmə infrastrukturu sayt üçün optimal indeksləmə sürətini müəyyən etmək üçün mürəkkəb alqoritmlərə malikdir. Məqsədimiz serverinizi yükləmədən hər ziyarət zamanı saytınızdan mümkün qədər çox səhifəni indeksləməkdir. Bəzi hallarda, Google-un saytınızı indeksləməsi infrastrukturunuzda kritik yükə səbəb ola bilər və ya nasazlıq zamanı arzuolunmaz xərclərə yol aça bilər. Bunu yüngülləşdirmək üçün Google botları tərəfindən edilən sorğuların sayını azaltmağa qərar verə bilərsiniz.

İndeksləmənin kəskin artmasının səbəbini anlayın

İndeksləmənin kəskin artması saytınızın strukturundakı səmərəsizliklər və ya saytınızla bağlı digər problemlərdən qaynaqlana bilər. Keçmişdə aldığımız hesabatlara əsasən, ən çox rast gəlinən səbəblər bunlardır:

Google-un indeksləmə sürətini azaldın
  • Saytdakı URL-lərin səmərəsiz konfiqurasiyası, bu adətən saytın xüsusi funksionallığı ilə bağlıdır:

    • Faset naviqasiyası və ya saytın digər çeşidləmə və filtr funksiyaları
    • Müəyyən tarixlər üçün çoxlu URL-ləri olan təqvim
  • Dinamik Axtarış Elanı hədəfi

Hostinq şirkətinizlə məsləhətləşməyinizi və trafikin mənbəyini anlamaq üçün serverinizin son giriş qeydlərinə baxmağınızı, həmçinin bunun indeksləmənin kəskin artmasının yuxarıda qeyd olunan ümumi səbəblərinə uyğun olub-olmadığını yoxlamağınızı şiddətlə tövsiyə edirik. Sonra, bizim təlimatlarımızı yoxlayın:
faset naviqasiyası URL-lərinin indekslənməsinin idarə edilməsi
və
indeksləmə səmərəliliyinin optimallaşdırılması.

Bot trafikini təcili olaraq azaldın (fövqəladə hallar üçün)

Əgər indeksləmə sürətini qısa müddətə (məsələn, bir neçə saat və ya 1-2 gün) təcili olaraq azaltmaq lazımdırsa, o zaman geri dönün 500, 503, və ya 429 HTTP cavab status kodu, əvəzinə 200 indeksləmə sorğularına. Google-un indeksləmə infrastrukturu çox sayda URL ilə qarşılaşdıqda saytınızın indeksləmə sürətini azaldır 500, 503, və ya 429 HTTP cavab status kodları (məsələn, əgər siz
veb saytınızı deaktiv etmisinizsə). Azaldılmış indeksləmə sürəti saytınızın bütün host adına təsir edir (məsələn,
subdomain.example.com), həm səhvlər qaytaran URL-lərin, həm də məzmun qaytaran URL-lərin indekslənməsinə. Bu səhvlərin sayı azaldıqdan sonra indeksləmə sürəti avtomatik olaraq yenidən artmağa başlayacaq.

Google-un indeksləmə sürətini azaldın — 2

İndeksləmə sürətini azaltmaq üçün müstəsna sorğular

Əgər Google botlarına səhvlər təqdim etmək infrastrukturunuzda mümkün deyilsə,
xüsusi sorğu göndərin
qeyri-adi dərəcədə yüksək indeksləmə sürəti ilə bağlı problemi bildirmək üçün, sorğunuzda saytınız üçün optimal sürəti qeyd edin. İndeksləmə sürətinin artırılmasını tələb edə bilməzsiniz və sorğunun qiymətləndirilməsi və yerinə yetirilməsi bir neçə gün çəkə bilər.

Alien Road

Bunu necə tətbiq edirik

Reducing crawl rate is a last resort, not a tuning knob. When a client’s server struggles we fix the performance problem first, because throttling Google slows down every future change to the site.

Əlaqəli xidmətlər

Paylaş