Google tarayıcılarına ve getiricilerine (user agent) genel bakış

Google, ürünleri için otomatik olarak veya kullanıcı isteğiyle tetiklenen işlemleri gerçekleştirmek amacıyla tarayıcılar ve getiriciler kullanır. Tarayıcı (bazen “robot” veya “örümcek” olarak da adlandırılır),
web sitelerini otomatik olarak keşfetmek ve taramakiçin kullanılan herhangi bir programın genel adıdır.
wget gibi getiriciler, genellikle bir kullanıcı adına tek bir istekte bulunan programlar olarak işlev görür. Google’ın istemcileri üç kategoriye ayrılır:

Google’ın tarayıcılarının ve getiricilerinin teknik özellikleri

Google’ın tarayıcıları ve getiricileri, performansı artırmak ve web büyüdükçe ölçeklenmek için binlerce makine tarafından aynı anda çalıştırılacak şekilde tasarlanmıştır. Bant genişliği kullanımını optimize etmek için bu istemciler, erişebilecekleri sitelere yakın olmaları amacıyla dünya genelindeki birçok veri merkezine dağıtılmıştır. Bu nedenle, günlükleriniz birkaç farklı IP adresinden gelen ziyaretleri gösterebilir. Google, çıkış trafiğini öncelikle Amerika Birleşik Devletleri’ndeki IP adreslerinden gerçekleştirir. Google, bir sitenin Amerika Birleşik Devletleri’nden gelen istekleri engellediğini tespit ederse, diğer ülkelerde bulunan IP adreslerinden tarama yapmayı deneyebilir.

Desteklenen aktarım protokolleri

Google’ın tarayıcıları ve getiricileri HTTP/1.1 ve
HTTP/2protokollerini destekler. Tarayıcılar, en iyi tarama performansını sağlayan protokol sürümünü kullanır ve önceki tarama istatistiklerine bağlı olarak tarama oturumları arasında protokol değiştirebilir. Google tarayıcıları tarafından kullanılan varsayılan protokol sürümü HTTP/1.1’dir; HTTP/2 üzerinden tarama yapmak siteniz ve Googlebot için bilgi işlem kaynaklarından (örneğin CPU, RAM) tasarruf sağlayabilir, ancak bunun dışında site için Google ürününe özgü bir faydası (örneğin Google Arama’da sıralama artışı) yoktur. HTTP/2 üzerinden taramayı devre dışı bırakmak için, sitenizi barındıran sunucuya, Google sitenize HTTP/2 üzerinden erişmeye çalıştığında bir 421 HTTP durum kodu ile yanıt vermesi talimatını verin. Bu mümkün değilse,
Tarama ekibine bir mesaj gönderebilirsiniz
(ancak bu çözüm geçicidir).

Google’ın tarayıcı altyapısı ayrıca FTP (
RFC959 ve güncellemeleri ile tanımlandığı şekilde) ve FTPS (
RFC4217 ve güncellemeleri ile tanımlandığı şekilde) üzerinden taramayı destekler, ancak bu protokoller üzerinden tarama nadirdir.

Desteklenen içerik kodlamaları

Google’ın tarayıcıları ve getiricileri aşağıdaki içerik kodlamalarını (sıkıştırmaları) destekler:
gzip,
deflateve
Brotli (br). Her bir Google user agent tarafından desteklenen içerik kodlamaları, yaptıkları her isteğin
Accept-Encoding başlığında belirtilir. Örneğin,
Accept-Encoding: gzip, deflate, br.

Dosya boyutu sınırları

Varsayılan olarak, Google’ın tarayıcıları ve getiricileri yalnızca bir dosyanın ilk 15 MB’lık kısmını tarar ve bu sınırın ötesindeki içerikler yoksayılır. Ancak, bireysel projeler tarayıcıları ve getiricileri için ve ayrıca farklı dosya türleri için farklı sınırlar belirleyebilir. Örneğin, bir Google tarayıcısı
Googlebot gibi daha küçük bir boyut sınırına (örneğin 2 MB) sahip olabilir veya bir PDF için HTML’den daha büyük bir dosya boyutu sınırı belirleyebilir.

Tarama hızı ve ana bilgisayar yükü

Amacımız, sunucunuzu aşırı yüklemeden her ziyarette sitenizden mümkün olduğunca çok sayfa taramaktır. Siteniz Google’ın tarama isteklerine yetişmekte zorlanıyorsa,
tarama hızını düşürebilirsiniz. Google’ın tarayıcılarına uygun olmayan
HTTP yanıt kodu
göndermenin, sitenizin Google ürünlerinde nasıl göründüğünü etkileyebileceğini unutmayın.

HTTP Önbelleğe Alma

Google’ın tarama altyapısı,
HTTP önbelleğe alma standardıtarafından tanımlanan buluşsal HTTP önbelleğe almayı destekler; ETag yanıt ve If-None-Match istek başlığı ile Last-Modified yanıt ve If-Modified-Since istek başlığı aracılığıyla.

HTTP yanıtında hem ETag hem de Last-Modified yanıt başlığı alanları mevcutsa, Google tarayıcıları ETag değerini
HTTP standardının gerektirdiği şekildekullanır.
Özellikle Google tarayıcıları için, önbelleğe alma tercihini belirtmek üzere
ETag kullanmanızı öneririz, çünkü Last-Modified
başlığı yerine ETag

tarih biçimlendirme sorunlarına sahip değildir.

Diğer HTTP önbelleğe alma yönergeleri desteklenmez. Bireysel Google tarayıcıları ve getiricileri, ilişkili oldukları ürünün ihtiyaçlarına bağlı olarak önbelleğe almayı kullanabilir veya kullanmayabilir. Örneğin, Googlebot Google Arama için URL'leri yeniden tararken önbelleğe almayı destekler ve Storebot-Google

yalnızca belirli koşullarda önbelleğe almayı destekler.

Siteniz için HTTP önbelleğe almayı uygulamak üzere barındırma veya içerik yönetim sistemi sağlayıcınızla iletişime geçin. ETag ve

If-None-Match Google'ın tarama altyapısı, HTTP Caching standardı tarafından tanımlandığı şekilde ETag
veIf-None-Match
öğelerini destekler.
ETag
yanıt başlığı ve onun istek başlığı karşılığı olan.

If-None-Match

hakkında daha fazla bilgi edinin. Last-Modified ve If-Modified-Since Google’ın tarama altyapısı,
Last-Modified ve
If-Modified-Since
öğelerini, aşağıdaki uyarılarla birlikte

• HTTP Caching standardı tarafından tanımlandığı şekilde destekler: Last-Modified
  başlığındaki tarih,HTTP standardına göre biçimlendirilmelidir. Ayrıştırma sorunlarını önlemek için şu tarih biçimini kullanmanızı öneririz:“Haftanın Günü, DD Ay YYYY SS:DD:SS Zaman Dilimi”. Örneğin,“.
• “Fri, 4 Sep 1998 19:15:56 GMT”
  Zorunlu olmasa da, tarayıcıların belirli URL'yi ne zaman yeniden tarayacaklarını belirlemelerine yardımcı olmak için Cache-Control yanıt başlığının max-age
  alanını da ayarlamayı düşünün.
  max-age alanının değerini, içeriğin değişmeden kalmasının beklendiği saniye sayısına ayarlayın. Örneğin, Cache-Control: max-age=94043.

Last-Modified
yanıt başlığı ve onun istek başlığı karşılığı olan
If-Modified-Since hakkında daha fazla bilgi edinin..

Google’ın tarayıcılarını ve getiricilerini doğrulayın

Google’ın tarayıcıları kendilerini üç şekilde tanıtır:

1. HTTP user-agent istek başlığı.
2. İsteğin kaynak IP adresi.
3. Kaynak IP’nin ters DNS ana bilgisayar adı.

Bu ayrıntıları kullanarak
Google’ın tarayıcılarını ve getiricilerini nasıl doğrulayacağınızı.