Serverinizə gələn sorğunun həqiqətən olub olmadığını yoxlaya bilərsiniz
Google-dan. Googlebot kimi skanerlər, eləcə də digər sorğular üçün yoxlama mümkündür. Bu, spamçılıqla məşğul olanların və ya digər pozucu şəxslərin özlərini Google-dan kimi təqdim edərək saytınıza daxil olmalarından narahat olduğunuz halda faydalıdır.
Google-un skanerləri və sorğuçuları üç kateqoriyaya bölünür:
| Növ | Təsvir | Tərsinə DNS maskası | IP diapazonları |
|---|---|---|---|
| Ümumi skanerlər | Google məhsulları (məsələn, Googlebot) üçün istifadə olunan ümumi skanerlər. Onlar avtomatik skanlar üçün həmişə robots.txt qaydalarına hörmət edirlər. | crawl-***-***-***-***.googlebot.com və yageo-crawl-***-***-***-***.geo.googlebot.com | common-crawlers.json |
| Xüsusi hallara aid skanerlər | Skan edilmiş sayt ilə məhsul arasında girişlə bağlı razılaşmanın olduğu və ya sui-istifadə halları ilə əlaqədar skan etmə/sorğulama həyata keçirən Google məhsulları üçün xüsusi funksiyalar yerinə yetirən skanerlər və ya sorğuçular (məsələn, AdsBot). Bu skanerlər və ya sorğuçular robots.txt qaydalarına riayət edə də bilərlər, etməyə də bilərlər. | rate-limited-proxy-***-***-***-***.google.com | special-crawlers.json |
| İstifadəçi tərəfindən işə salınan sorğuçular | Son istifadəçinin sorğunu işə saldığı alətlər və məhsul funksiyaları. Məsələn, Google Site Verifier istifadəçinin tələbi ilə hərəkət edir. Sorğu istifadəçi tərəfindən tələb olunduğu üçün bu sorğuçular robots.txt qaydalarına məhəl qoymurlar. Google tərəfindən idarə olunan sorğuçular mənbəyini aşağıdakı ünvanlardan götürür user-triggered-fetchers-google.json obyekt və aşağıdakı ilə həll olunurgoogle.com host adı. IP ünvanları aşağıdakılardadır user-triggered-fetchers.json obyekt həll olunur gae.googleusercontent.com | host adları. Bu IP ünvanları, məsələn, Google Cloud (GCP) üzərində işləyən saytın həmin saytın istifadəçisinin tələbi ilə xarici RSS lentlərini gətirməyi tələb edən funksiyası olduqda istifadə olunur. ***-***-***-***.gae.googleusercontent.comvə ya | google-proxy-***-***-***-***.google.com, user-triggered-fetchers.jsonuser-triggered-fetchers-google.json , |
və
- user-triggered-agents.jsonGoogle-dan gələn sorğuların yoxlanılması üçün iki üsul mövcuddur:
- Əl ilə: Birdəfəlik axtarışlar üçün əmr sətri alətlərindən istifadə edin. Bu üsul əksər istifadə halları üçün kifayətdir.
Avtomatik olaraq
- : Genişmiqyaslı axtarışlar üçün skanerlərin IP ünvanını yayımlanan Google IP ünvanları siyahısı ilə uzlaşdırmaq üçün avtomatik həllərdən istifadə edin.
Əmr sətri alətlərindən istifadə edinƏmrindən istifadə edərək loglarınızdan daxil olan IP ünvanı üzrə tərsinə DNS axtarışı həyata keçirin - host
əmr.,Domen adının aşağıdakılardan biri olduğunu yoxlayıngooglebot.com
google.com. - , və ya
googleusercontent.com
Əldə edilmiş domen adında əmrindən istifadə edərək 1-ci addımda əldə edilmiş domen adı üzrə irəli DNS axtarışı həyata keçirin - host
əmr.
Loglarınızdakı orijinal daxil olan IP ünvanı ilə eyni olduğunu yoxlayın.
Nümunə 1:
Nümunə 2:
Nümunə 3:
- Avtomatik həllərdən istifadə edin
- Alternativ olaraq, skanerin IP ünvanını Google skanerlərinin və sorğuçularının IP diapazonları siyahısı ilə uzlaşdırmaqla Googlebot-u IP ünvanı vasitəsilə müəyyən edə bilərsiniz:
- Googlebot kimi ümumi skanerlər
- AdsBot kimi xüsusi skanerlər
- İstifadəçi tərəfindən işə salınan sorğuçular (istifadəçilər)
İstifadəçi tərəfindən işə salınan sorğuçular (Google)
İstifadəçi tərəfindən işə salınan agentlərSaytınıza daxil ola biləcək digər Google IP ünvanları üçün (məsələn,
Apps Scripts), daxil olan IP ünvanını ümumi
Google IP ünvanları siyahısı.
Bunu necə tətbiq edirik
Verification by reverse DNS is the only reliable way to separate real Googlebot from crawlers that spoof the user agent. We build this into the client’s log pipeline rather than checking manually.
Əlaqəli xidmətlər