Crawling infrastructure

Google-un xüsusi hallar üzrə skanerlərinin siyahısı

Xüsusi hallar skanerləri skan prosesi ilə bağlı skan edilən sayt və məhsul arasında razılaşmanın olduğu xüsusi Google məhsulları tərəfindən istifadə olunur. Məsələn, AdsBot reklam nəşriyyatçısının icazəsi ilə qlobal robots.txt istifadəçi agentinə (*) məhəl qoymur. Ümumi
texniki xüsusiyyətlər
Google skanerlərinə də şamil olunur.

Xüsusi hallar skanerləri robots.txt qaydalarına məhəl qoymaya bilər və buna görə də onlar adi skanerlərdən fərqli IP diapazonundan fəaliyyət göstərirlər. IP diapazonları
special-crawlers.json obyektində dərc olunur. Xüsusi hallar skanerlərinin tərsinə DNS maskası aşağıdakılara uyğundur:
rate-limited-proxy-***-***-***-***.google.com.

Google-un xüsusi hallar üzrə skanerlərinin siyahısı

Aşağıdakı siyahıda xüsusi hallar skanerləri, onların HTTP sorğularında görünən istifadəçi agenti sətirləri, robots.txt faylındakı User-agent: ,

APIs-Google
HTTP sorğularında İstifadəçi Agent
robots.txt

robots.txt faylınıdakı İstifadəçi agenti nişanı


APIs-Google*Qlobal istifadəçi agentinə (

Google-un xüsusi hallar üzrə skanerlərinin siyahısı — 2
) məhəl qoyulmur.
Nümunə robots.txt qrupuTəsirlənən məhsullar Ünvanlanan skan üstünlükləri APIs-Google
AdsBot Mobile Web
HTTP sorğularında İstifadəçi Agent
robots.txt

robots.txt faylınıdakı İstifadəçi agenti nişanı


AdsBot-Google-Mobile*Qlobal istifadəçi agentinə (

) məhəl qoyulmur.
Nümunə robots.txt qrupuTəsirlənən məhsullar Ünvanlanan skan üstünlükləri AdsBot-Google-Mobile
istifadəçi agenti Google Ads-in.
yoxlamaq qabiliyyətinə təsir edir
AdsBot
HTTP sorğularında İstifadəçi Agent

robots.txt


robots.txt faylınıdakı İstifadəçi agenti nişanı*AdsBot-Google

Qlobal istifadəçi agentinə (
) məhəl qoyulmur.Nümunə robots.txt qrupu Təsirlənən məhsullar Ünvanlanan skan üstünlükləri
AdsBot-Google.
veb-səhifə reklam keyfiyyətini
yoxlamaq qabiliyyətinə təsir edir
AdSense
HTTP sorğularında İstifadəçi Agent
Masaüstü agentMobil agent

robots.txt*robots.txt faylınıdakı İstifadəçi agenti nişanı

Mediapartners-Google
Qlobal istifadəçi agentinə () məhəl qoyulmur. Nümunə robots.txt qrupu Təsirlənən məhsullar
Mediapartners-Google
istifadəçi agenti Google AdSense-ə təsir edir. AdSense skaneri iştirak edən saytlara müvafiq reklamlar təqdim etmək üçün onlara baş çəkir.Google-Safety
HTTP sorğularında İstifadəçi Agentrobots.txt
Alien Road

Bunu necə tətbiq edirik

Special-case crawlers ignore some of the usual rules, which surprises teams that assume robots.txt covers everything. We check for them specifically when a client reports unexpected fetch traffic.

Əlaqəli xidmətlər

Paylaş