Özel durum tarayıcıları, taranan site ile ürün arasında tarama süreci konusunda bir anlaşmanın bulunduğu belirli Google ürünleri tarafından kullanılır. Örneğin, AdsBot genel robots.txt kullanıcı aracısını (*) reklam yayıncısının izniyle yoksayar. Google tarayıcılarının genel
teknik özellikleri
özel durum tarayıcıları için de geçerlidir.
Özel durum tarayıcıları robots.txt kurallarını yoksayabilir ve bu nedenle ortak tarayıcılardan farklı bir IP aralığından çalışırlar. IP aralıkları
special-crawlers.json nesnesinde yayınlanmıştır. Özel durum tarayıcılarının ters DNS maskesi
rate-limited-proxy-***-***-***-***.google.com.
Aşağıdaki liste özel durum tarayıcılarını, HTTP isteklerinde göründükleri şekliyle kullanıcı aracısı dizelerini, robots.txt dosyasındaki User-agent: satırı için kullanıcı aracısı belirteçlerini ve tarayıcıya yönelik tarama tercihlerinden etkilenen ürünleri gösterir. Liste kapsamlı değildir; yalnızca günlük dosyalarında görünme olasılığı daha yüksek olan ve hakkında sorular aldığımız istek sahiplerini kapsar.
APIs-Google
HTTP isteklerinde User-Agent robots.txt robots.txt dosyasındaki User-agent belirteci APIs-GoogleGenel kullanıcı aracısı (
*) yoksayılır.Örnek robots.txt grubu Etkilenen ürünler Şu kullanıcı aracısına yönelik tarama tercihleri: APIs-GoogleGoogle API’leri tarafından anlık bildirim mesajlarının iletilmesini etkiler.AdsBot Mobile Web
HTTP isteklerinde User-Agent robots.txt robots.txt dosyasındaki User-agent belirteci AdsBot-Google-MobileGenel kullanıcı aracısı (
*) yoksayılır.Örnek robots.txt grubu Etkilenen ürünler Şu kullanıcı aracısına yönelik tarama tercihleri: AdsBot-Google-MobileGoogle Ads’in
web sayfası reklam kalitesini.AdsBot
HTTP isteklerinde User-Agent robots.txt robots.txt dosyasındaki User-agent belirteci AdsBot-GoogleGenel kullanıcı aracısı (
*) yoksayılır.Örnek robots.txt grubu Etkilenen ürünler Şu kullanıcı aracısına yönelik tarama tercihleri: AdsBot-GoogleGoogle Ads’in
web sayfası reklam kalitesini.AdSense
HTTP isteklerinde User-Agent Masaüstü aracısı Mobil aracı robots.txt robots.txt dosyasındaki User-agent belirteci Mediapartners-GoogleGenel kullanıcı aracısı (
*) yoksayılır.Örnek robots.txt grubu Etkilenen ürünler Şu kullanıcı aracısına yönelik tarama tercihleri: Mediapartners-GoogleGoogle AdSense’i etkiler. AdSense tarayıcısı, katılımcı sitelere alakalı reklamlar sunmak için bu siteleri ziyaret eder.Google-Safety
HTTP isteklerinde User-Agent robots.txt Google-Safety kullanıcı aracısı robots.txt kurallarını yoksayar. Etkilenen ürünler Google-Safety kullanıcı aracısı, Google mülklerinde herkese açık olarak yayınlanan bağlantılar için kötü amaçlı yazılım keşfi gibi kötüye kullanım odaklı tarama işlemlerini yürütür. Bu nedenle tarama tercihlerinden etkilenmez.
Biz bunu nasıl uyguluyoruz
Special-case crawlers ignore some of the usual rules, which surprises teams that assume robots.txt covers everything. We check for them specifically when a client reports unexpected fetch traffic.
İlgili hizmetler