Xüsusi hallar skanerləri skan prosesi ilə bağlı skan edilən sayt və məhsul arasında razılaşmanın olduğu xüsusi Google məhsulları tərəfindən istifadə olunur. Məsələn, AdsBot reklam nəşriyyatçısının icazəsi ilə qlobal robots.txt istifadəçi agentinə (*) məhəl qoymur. Ümumi
texniki xüsusiyyətlər
Google skanerlərinə də şamil olunur.
Xüsusi hallar skanerləri robots.txt qaydalarına məhəl qoymaya bilər və buna görə də onlar adi skanerlərdən fərqli IP diapazonundan fəaliyyət göstərirlər. IP diapazonları
special-crawlers.json obyektində dərc olunur. Xüsusi hallar skanerlərinin tərsinə DNS maskası aşağıdakılara uyğundur:
rate-limited-proxy-***-***-***-***.google.com.

Aşağıdakı siyahıda xüsusi hallar skanerləri, onların HTTP sorğularında görünən istifadəçi agenti sətirləri, robots.txt faylındakı User-agent: ,
Sorğu göndərənin Google-dan olub-olmadığını necə yoxlamağı öyrənin
APIs-Google HTTP sorğularında İstifadəçi Agent robots.txt robots.txt faylınıdakı İstifadəçi agenti nişanıAPIs-Google
*Qlobal istifadəçi agentinə (
) məhəl qoyulmur. Nümunə robots.txt qrupu Təsirlənən məhsullar Ünvanlanan skan üstünlükləriAPIs-Googleistifadəçi agenti Google API-ləri tərəfindən təkan bildiriş mesajlarının çatdırılmasına təsir edir.
AdsBot Mobile Web HTTP sorğularında İstifadəçi Agent robots.txt robots.txt faylınıdakı İstifadəçi agenti nişanıAdsBot-Google-Mobile
*Qlobal istifadəçi agentinə () məhəl qoyulmur. Nümunə robots.txt qrupu Təsirlənən məhsullar Ünvanlanan skan üstünlükləriAdsBot-Google-Mobile
istifadəçi agenti Google Ads-in.veb-səhifə reklam keyfiyyətini
yoxlamaq qabiliyyətinə təsir edir AdsBot HTTP sorğularında İstifadəçi Agent robots.txtrobots.txt faylınıdakı İstifadəçi agenti nişanı
*AdsBot-GoogleQlobal istifadəçi agentinə ( ) məhəl qoyulmur. Nümunə robots.txt qrupu Təsirlənən məhsullarÜnvanlanan skan üstünlükləri
AdsBot-Google.istifadəçi agenti Google Ads-in
veb-səhifə reklam keyfiyyətini yoxlamaq qabiliyyətinə təsir edir AdSense HTTP sorğularında İstifadəçi Agent Masaüstü agent Mobil agentrobots.txt
*robots.txt faylınıdakı İstifadəçi agenti nişanıMediapartners-Google Qlobal istifadəçi agentinə ( ) məhəl qoyulmur. Nümunə robots.txt qrupuTəsirlənən məhsullarÜnvanlanan skan üstünlükləri
Mediapartners-Google istifadəçi agenti Google AdSense-ə təsir edir. AdSense skaneri iştirak edən saytlara müvafiq reklamlar təqdim etmək üçün onlara baş çəkir. Google-Safety HTTP sorğularında İstifadəçi Agent robots.txt
Bunu necə tətbiq edirik
Special-case crawlers ignore some of the usual rules, which surprises teams that assume robots.txt covers everything. We check for them specifically when a client reports unexpected fetch traffic.
Əlaqəli xidmətlər