Google-un hansı istifadəçi agentlərini işlətdiyi və özünü Googlebot kimi təqdim edən sorğunun həqiqətən Googlebot olduğunu necə təsdiqləmək olar.
Google bir neçə kroller işlədir. Əsasları bunlardır: Googlebot Smartphone (indeksləmə üçün əsas kroller), Googlebot Desktop, Googlebot Image, Googlebot Video və AdsBot ilə istifadəçi tərəfindən işə salınan sorğular üçün ayrı agentlər.
Təsdiqləmə vacibdir İstifadəçi agenti sətrləri asanlıqla saxtalaşdırılır. Skraperlər sürət hədlərini yan keçmək üçün müntəzəm olaraq özlərini Googlebot kimi qələmə verirlər. Sorğu göndərən IP-də əks DNS axtarışı ilə təsdiqləyin, o, googlebot.com və yagoogle.com
olaraq həll olunmalıdır, daha sonra həmin IP-yə birbaşa axtarış aparılmalıdır. Google həmçinin öz IP diapazonlarını JSON olaraq dərc edir.
Taranma sürəti
Google taranma sürətini server cavabına əsasən avtomatik tənzimləyir. Ardıcıl 5xx xətaları və ya yavaş cavablar onun geri çəkilməsinə səbəb olur. Search Console-da artıq əl ilə taranma sürəti ayarı yoxdur; əgər təcili olaraq sürəti azaltmaq lazımdırsa, 503 və ya 429 qaytarın, lakin yalnız qısa müddətə, çünki davamlı 5xx cavabları indeksdən çıxarılmağa gətirib çıxarır. Alien Road tövsiyə edir:
Bunu necə tətbiq edirik
Verifying crawler identity matters when a client’s security team starts blocking traffic. We have seen legitimate Googlebot requests blocked by a firewall rule, which removes a site from the index within weeks.
Əlaqəli xidmətlər