Google’ın yaygın tarayıcıları, Google’ın arama dizinlerini oluşturmak, ürüne özel diğer taramaları gerçekleştirmek ve analiz yapmak için bilgi bulmak amacıyla kullanılır. Bu tarayıcılar her zaman
robots.txt kurallarına
otomatik olarak tarama yaparken uyarlar. Google tarayıcılarının genel
teknik özellikleri
yaygın tarayıcılar için de geçerlidir.
Yaygın tarayıcılar genellikle
common-crawlers.json nesnesinde yayınlanan IP aralıklarından tarama yapar ve ana bilgisayar adlarının ters DNS maskesi şu şekilde eşleşir: crawl-***-***-***-***.googlebot.com veya
geo-crawl-***-***-***-***.geo.googlebot.com.
Aşağıdaki liste yaygın tarayıcıları, HTTP isteklerinde göründükleri şekliyle kullanıcı aracısı dizelerini, robots.txt dosyasındaki User-agent: satırı için kullanıcı aracısı belirteçlerini ve tarayıcı tercihlerinden etkilenen ürünleri gösterir. Bazı tarayıcıların birden fazla kullanıcı aracısı belirteci vardır; bir kuralın uygulanması için yalnızca bir tarayıcı belirteciyle eşleşmeniz yeterlidir. Bu liste kapsamlı değildir, yalnızca günlük dosyalarında görünme olasılığı daha yüksek olan ve hakkında sorular aldığımız istek sahiplerini kapsar.
Googlebot
Kullanıcı AracısıHTTP isteklerindeGooglebot Akıllı Telefon Googlebot Masaüstü Nadiren:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Googlebot/2.1 (+http://www.google.com/bot.html)
robots.txt robots.txt içindeki kullanıcı aracısı belirteci GooglebotÖrnek robots.txt grubu Etkilenen ürünler Şu kullanıcı aracısına yönelik tarama tercihleri: GooglebotGoogle Arama’yı (Discover ve tüm Google Arama özellikleri dahil) ve ayrıca Google Görseller, Google Video, Google Haberler ve Discover gibi diğer ürünleri etkiler.Googlebot Görsel
HTTP isteklerinde Kullanıcı Aracısı robots.txt robots.txt içindeki kullanıcı aracısı belirteci Googlebot-ImageGooglebotÖrnek robots.txt grubu Etkilenen ürünler Şu kullanıcı aracısına yönelik tarama tercihleri: Googlebot-ImageGoogle Görseller, Discover, Google Video ve Google Arama’da görsellerin, logoların ve favicon’ların sunulduğu tüm özellikleri etkiler.Googlebot Video
HTTP isteklerinde Kullanıcı Aracısı robots.txt robots.txt içindeki kullanıcı aracısı belirteci Googlebot-VideoGooglebotÖrnek robots.txt grubu Etkilenen ürünler Şu kullanıcı aracısına yönelik tarama tercihleri: Googlebot-Videovideo ile ilgili Google Arama özelliklerini ve videolara bağımlı diğer ürünleri etkiler.Googlebot Haberler
HTTP isteklerinde Kullanıcı Aracısı Googlebot-news’in ayrı bir HTTP isteği kullanıcı aracısı dizesi yoktur. Tarama, çeşitli Googlebot kullanıcı aracısı dizeleriyle. robots.txt robots.txt içindeki kullanıcı aracısı belirteci Googlebot-NewsGooglebotÖrnek robots.txt grubu Etkilenen ürünler Şu kullanıcı aracısına yönelik tarama tercihleri: Googlebot-NewsGoogle Haberler ürününü etkiler, buna
news.google.com ve Google Haberler uygulaması dahildir.Google StoreBot
HTTP isteklerinde Kullanıcı Aracısı Masaüstü aracısı Mobil aracı robots.txt robots.txt içindeki kullanıcı aracısı belirteci Storebot-GoogleÖrnek robots.txt grubu Etkilenen ürünler Şu kullanıcı aracısına yönelik tarama tercihleri: Storebot-GoogleGoogle Alışveriş’in tüm yüzeylerini (örneğin, Google Arama’daki Alışveriş sekmesi ve
Google Alışveriş).Google-InspectionTool
HTTP isteklerinde Kullanıcı Aracısı Masaüstü aracısı Mobil aracı robots.txt robots.txt içindeki kullanıcı aracısı belirteci Google-InspectionToolGooglebotÖrnek robots.txt grubu Etkilenen ürünler Şu kullanıcı aracısına yönelik tarama tercihleri: Google-InspectionToolkullanıcı aracısı,
Zengin Sonuç Testi
ve
URL denetimi
gibi Arama test araçlarını etkiler. Google Arama veya diğer ürünler üzerinde hiçbir etkisi yoktur.GoogleOther
HTTP isteklerinde Kullanıcı Aracısı robots.txt robots.txt içindeki kullanıcı aracısı belirteci GoogleOtherÖrnek robots.txt grubu Etkilenen ürünler Şu kullanıcı aracısına yönelik tarama tercihleri: GoogleOtherkullanıcı aracısı herhangi bir belirli ürünü etkilemez. GoogleOther, çeşitli ürün ekipleri tarafından sitelerden herkese açık içeriği getirmek için kullanılabilecek genel tarayıcıdır. Örneğin, dahili araştırma ve geliştirme için tek seferlik taramalarda kullanılabilir.GoogleOther-Image
HTTP isteklerinde Kullanıcı Aracısı robots.txt robots.txt içindeki kullanıcı aracısı belirteci GoogleOther-ImageGoogleOtherÖrnek robots.txt grubu Etkilenen ürünler Şu kullanıcı aracısına yönelik tarama tercihleri: GoogleOther-Imagekullanıcı aracısı, GoogleOther’a benzer şekilde herhangi bir belirli ürünü etkilemez. GoogleOther-Image, herkese açık görsel URL’lerini getirmek için optimize edilmiş GoogleOther sürümüdür.GoogleOther-Video
HTTP isteklerinde Kullanıcı Aracısı robots.txt robots.txt içindeki kullanıcı aracısı belirteci GoogleOther-VideoGoogleOtherÖrnek robots.txt grubu Etkilenen ürünler Şu kullanıcı aracısına yönelik tarama tercihleri: GoogleOther-Videokullanıcı aracısı, GoogleOther’a benzer şekilde herhangi bir belirli ürünü etkilemez. GoogleOther-Video, herkese açık video URL’lerini getirmek için optimize edilmiş GoogleOther sürümüdür.Google-CloudVertexBot
HTTP isteklerinde Kullanıcı Aracısı alt dizesi robots.txt robots.txt içindeki kullanıcı aracısı belirteci Google-CloudVertexBotGooglebotÖrnek robots.txt grubu Etkilenen ürünler Şu kullanıcı aracısına yönelik tarama tercihleri: Google-CloudVertexBotkullanıcı aracısı, site sahiplerinin
Vertex AI Agentsoluşturmak için talep ettiği taramaları etkiler. Google Arama veya diğer ürünler üzerinde hiçbir etkisi yoktur.Google-Extended
HTTP isteklerinde Kullanıcı Aracısı Google-Extended’ın ayrı bir HTTP isteği kullanıcı aracısı dizesi yoktur. Tarama, mevcut Google kullanıcı aracısı dizeleriyle yapılır; robots.txt kullanıcı aracısı belirteci kontrol kapasitesinde kullanılır. robots.txt robots.txt içindeki kullanıcı aracısı belirteci Google-ExtendedÖrnek robots.txt grubu Etkilenen ürünler Google-Extendedweb yayıncılarının, sitelerinden Google tarafından taranan içeriğin, şu ürünlere güç veren gelecekteki Gemini modellerini eğitmek için kullanılıp kullanılamayacağını yönetmelerine olanak tanıyan bağımsız bir ürün belirtecidir:
Gemini Apps
ve Vertex AI API for Gemini
ve ayrıca şunlarda doğruluk ve uygunluğu artırmak için (istemi sırasında modele Google Arama dizininden içerik sağlayarak) temel oluşturma (grounding) için kullanılır:
Gemini Apps
ve Grounding with Google Search on Vertex AI.Google-Extended, bir sitenin Google Arama’ya dahil edilmesini etkilemez ve Google Arama’da bir sıralama sinyali olarak kullanılmaz.
Chrome/ hakkında bir notW.X.Y.Z kullanıcı aracılarında
Dize Chrome/W.X.Y.Z listedeki kullanıcı aracısı dizelerinde, o kullanıcı aracısı tarafından kullanılan Chrome tarayıcı sürümünü temsil eden bir yer tutucudur: örneğin,
41.0.2272.96. Bu sürüm numarası zamanla
Googlebot tarafından kullanılan en son Chromium sürümüyle eşleşecek şekilde.artar. Günlüklerinizi arıyorsanız veya sunucunuzu bu kalıba sahip bir kullanıcı aracısı için filtreliyorsanız, tam bir sürüm numarası belirtmek yerine sürüm numarası için joker karakterler kullanın.
Biz bunu nasıl uyguluyoruz
This list is what we hand to a client’s security or CDN team. Blocking one of these by accident is a common and expensive mistake, and the list is the fastest way to settle whether a rule is safe.
İlgili hizmetler