Crawling infrastructure

Google'ın özel durum tarayıcılarının listesi

Özel durum tarayıcıları, taranan site ile ürün arasında tarama süreci konusunda bir anlaşmanın bulunduğu belirli Google ürünleri tarafından kullanılır. Örneğin, AdsBot genel robots.txt kullanıcı aracısını (*) reklam yayıncısının izniyle yoksayar. Google tarayıcılarının genel
teknik özellikleri
özel durum tarayıcıları için de geçerlidir.

Özel durum tarayıcıları robots.txt kurallarını yoksayabilir ve bu nedenle ortak tarayıcılardan farklı bir IP aralığından çalışırlar. IP aralıkları
special-crawlers.json nesnesinde yayınlanmıştır. Özel durum tarayıcılarının ters DNS maskesi
rate-limited-proxy-***-***-***-***.google.com.

Aşağıdaki liste özel durum tarayıcılarını, HTTP isteklerinde göründükleri şekliyle kullanıcı aracısı dizelerini, robots.txt dosyasındaki User-agent: satırı için kullanıcı aracısı belirteçlerini ve tarayıcıya yönelik tarama tercihlerinden etkilenen ürünleri gösterir. Liste kapsamlı değildir; yalnızca günlük dosyalarında görünme olasılığı daha yüksek olan ve hakkında sorular aldığımız istek sahiplerini kapsar.

HTTP isteklerinde User-Agent
robots.txt
robots.txt dosyasındaki User-agent belirteci

APIs-Google


Genel kullanıcı aracısı (*) yoksayılır.

Örnek robots.txt grubu
Etkilenen ürünlerŞu kullanıcı aracısına yönelik tarama tercihleri: APIs-Google Google API’leri tarafından anlık bildirim mesajlarının iletilmesini etkiler.
HTTP isteklerinde User-Agent
robots.txt
robots.txt dosyasındaki User-agent belirteci

AdsBot-Google-Mobile


Genel kullanıcı aracısı (*) yoksayılır.

Örnek robots.txt grubu
Etkilenen ürünlerŞu kullanıcı aracısına yönelik tarama tercihleri: AdsBot-Google-Mobile Google Ads’in
web sayfası reklam kalitesini.
HTTP isteklerinde User-Agent
robots.txt
robots.txt dosyasındaki User-agent belirteci

AdsBot-Google


Genel kullanıcı aracısı (*) yoksayılır.

Örnek robots.txt grubu
Etkilenen ürünlerŞu kullanıcı aracısına yönelik tarama tercihleri: AdsBot-Google Google Ads’in
web sayfası reklam kalitesini.
HTTP isteklerinde User-Agent
Masaüstü aracısı
Mobil aracı
robots.txt
robots.txt dosyasındaki User-agent belirteciMediapartners-Google

Genel kullanıcı aracısı (*) yoksayılır.

Örnek robots.txt grubu
Etkilenen ürünlerŞu kullanıcı aracısına yönelik tarama tercihleri: Mediapartners-Google Google AdSense’i etkiler. AdSense tarayıcısı, katılımcı sitelere alakalı reklamlar sunmak için bu siteleri ziyaret eder.
HTTP isteklerinde User-Agent
robots.txtGoogle-Safety kullanıcı aracısı robots.txt kurallarını yoksayar.
Etkilenen ürünlerGoogle-Safety kullanıcı aracısı, Google mülklerinde herkese açık olarak yayınlanan bağlantılar için kötü amaçlı yazılım keşfi gibi kötüye kullanım odaklı tarama işlemlerini yürütür. Bu nedenle tarama tercihlerinden etkilenmez.
Alien Road

Biz bunu nasıl uyguluyoruz

Special-case crawlers ignore some of the usual rules, which surprises teams that assume robots.txt covers everything. We check for them specifically when a client reports unexpected fetch traffic.

İlgili hizmetler

Paylaş

© Copyright 2026 Alien Road. All rights reserved.