Google'ın web tarama süreçleri hakkında bilinmesi gerekenler

Google, açık web’i taramaya
30 yılı aşkın süredir devam ediyorve bize düzenli olarak web tarayıcılarımızın nasıl çalıştığına dair sorular geliyor. Bunlardan bazılarını yanıtlamak için, Google’ın tarayıcıları ve dünya üzerindeki bilgileri düzenleyerek insanları web’in dört bir yanındaki içeriklerle nasıl buluşturduğumuz hakkında birkaç gerçeği burada bulabilirsiniz.

Tarama nedir? Kısaca tarama, Google’ın web’i nasıl “gördüğüdür”

Tarama, yeni web sayfalarını keşfetmek ve anlamak için otomatik yazılım kullanma sürecidir. Bu sayede, bir web sayfası bulmak için Google’a geldiğinizde, sayfanın var olduğunu biliriz ve onu arama sonuçlarınıza dahil edebiliriz. Tüm arama motorları, hangi sayfaların ve bilgilerin mevcut olduğunu bilmek için taramaya güvenir. Videomuzu izleyebilirsiniz: Google Arama sayfaları nasıl tarar
daha fazla bilgi edinmek için.

Birçok tarayıcımız var; her birinin önemli görevleri bulunuyor

Googlebot en bilinen tarayıcımızdır ve Google Arama sonuçlarını taze ve güncel tutmak için kullanılır. Ayrıca Google Görseller ve Google Alışveriş gibi diğer yüzeylerimize özel tarayıcılarımız da mevcuttur. En yaygın kullanılan tarayıcılarımız ve bunların ne işe yaradığı hakkında tam dokümantasyon
sağlıyoruz. Tarayıcılarımız, kolayca tanımlanabilir kullanıcı aracısı (user-agent) adları ve bilinen internet adresleri kullanır. Bu sayede site sahipleri, gördükleri Google tarayıcılarının meşru olduğundan emin olabilirler.

En son güncellemeleri bulmak ve en taze arama sonuçlarını sunmak için tekrar taramalar gerçekleştiriyoruz

Son dakika haberlerini yakalamak için haber ana sayfalarını birkaç dakikada bir yeniden tarayabiliriz. Diğer durumlarda, yıllardır hiçbir şeyin değişmediğini gördüğümüzde, yeniden taramak için bir ay bekleyebiliriz. Site sahipleri, yeniden tarama sıklığını site haritası
dosyalarını kullanarak etkileyebilir ve bize yeni veya güncellenmiş sayfalar hakkında bilgi verebilirler.

Sık tarama iyi bir işarettir!

Sitenizi sık tarıyorsak, bu sayfalarınızın insanların bulmak istediği taze veya oldukça alakalı içeriklere sahip olduğunun ve sistemlerimizin bu talebi tanıdığının bir göstergesidir. Online alışveriş buna harika bir örnektir: E-ticaret sitelerini sık tararız, böylece sonuçlarımız perakendecilerin en güncel fiyatlarını, promosyonlarını ve stok durumlarını gösterir.

Sayfalar karmaşıklaştıkça Google’ın tarama süreçleri de zamanla gelişti

Sık yeniden tarama yapmamızın bir diğer nedeni, bir web sayfasının zenginliğini ve sunduklarını tam olarak anlamaktır. Tarayıcılarımız, bir siteyi tıpkı gerçek bir kişinin göreceği gibi “görmek” için sayfayı tamamen yükleyen işleme (rendering) adlı bir teknik kullanır. Yıllar geçtikçe web sayfaları daha sofistike hale geldi;
medyan mobil sayfa
boyutu 816 kilobayttan 2.3 megabaytayükseldi ve yüklenecek 60’tan fazla farklı dosya
içeriyor; görsellerden etkileşimli bileşenlere kadar. Bu nedenle, bir web sayfasının tüm ihtişamıyla temsili bir anlık görüntüsünü almak için aynı sayfayı birkaç kez veya yeni öğeler sürekli eklendiği için daha fazla taramamız gerekebilir.

Taramayı otomatik olarak optimize ediyoruz

Tarayıcılarımız verimlilik için tasarlanmıştır ve site sahipleri üzerindeki etkiyi en aza indirmek için kendilerini ayarlarlar. Örneğin, bir site yavaşladığında veya hata döndürdüğünde,
tarama hızı otomatik olarak değişir
böylece sitenin sunucularına aşırı yük bindirilmesi önlenir. Taranan içeriği önbelleğe alarak gereksiz taramayı sınırlamaya çalışıyoruz. Tarayıcılarımız bir web sitesini daha fazla keşfettikçe, daha az tarama ile kapsanabilecek bölümleri de tanıyabilirler; örneğin, 9999 yılına kadar giden takvimlerin tamamının taranmasına muhtemelen gerek yoktur. Site sahipleri, nelerin taranmasına gerek olmadığını belirterek
yardımcı olabilirler; bu, altyapı maliyetlerini düşürerek web sitelerine tasarruf sağlar ve interneti bir bütün olarak daha verimli hale getirir.

Google tarayıcıları izin almadan asla ödeme duvarı veya abonelik içeriğine girmez

Varsayılan olarak, bir sayfa açık web’de erişilebilir değilse (örneğin, içerik bir giriş sayfasının arkasındaysa), tarayıcılarımız da ona erişemez.
Site sahipleri için rehberimiz mevcuttur; eğer abonelik sayfalarına açıkça erişim izni vermek isterlerse (örneğin, Google’ın kullanıcıları bu içeriğe yönlendirebilmesi için). Tarayıcılarımıza abonelik erişimi sağlamayı seçerseniz,
yapılandırılmış verileri kullanabilir
ve insan ziyaretçilere giriş ekranını göstermeye devam ederken
spam kurallarımızıtetiklemekten kaçınabilirsiniz. Ayrıca,
önizleme kontrollerinden.

yararlanarak abonelik içeriğinin sayfa önizlemelerinde görünmesini engelleyebilirsiniz.

Site sahipleri, nelerin nasıl taranacağı konusunda kontrole sahiptir Açık web standartlarına saygı duyuyoruz, örneğinrobots.txt gibi; bu basit metin dosyası, site sahiplerinin bizimki gibi tarayıcıların sayfalarıyla nasıl etkileşime girmesi gerektiğini beyan etmelerini sağlar. Robots.txt,robots meta etiketleri ile birlikte, web sitelerinin Google ve diğer hizmetlere içeriklerine nasıl erişeceklerini kolayca iletmelerini sağlar. Sayfaların Arama’da görünmesini engelleyebilirler. Taranmasını istedikleri yeni içeriklerisite haritaları
aracılığıyla bize bildirebilirler. Ve sitelerini ne sıklıkla tarayacağımızı.

tarama bütçeleri üzerinden yönetebilirler.
Standart tarayıcılarımız

her zaman web sitelerinin içeriklerine nasıl erişileceği ve kullanılacağı konusundaki tercihlerine saygı duyar. Bir taramadan sonra, sitelerde gereksiz tekrar istekleri azaltmak için taranan verileri birden çok kez kullanabiliriz. Bu verileri yeniden kullansak bile, sitelerin robots.txt aracılığıyla yaptığı seçimlere ve açık web protokolü üzerinden sunduğumuz kontrollere saygı duymaya devam ederiz. Örneğin, siteler Google-Extended
kullanarak robots.txt içinde, diğer şeylerin yanı sıra, içeriklerinin Gemini modellerinin gelecekteki sürümlerini eğitip eğitmeyeceğini kontrol edebilirler. Google-Extended kullanımı, bir sitenin Arama’ya dahil edilmesini etkilemez ve Google-Extended’ı Arama’da bir sıralama sinyali olarak kullanmayız.

Site sahiplerinin Google tarama deneyimlerini yönetmeleri için birçok araç sunuyoruz, bunlardan biri de
Google Search Consoleolup, site sahiplerine ücretsiz olarak sunulmaktadır. Bu araç,
ne kadar tarama yaptığımız ve nedenlerihakkında bilgi sağlar. Ayrıca sitelerin sunucu kesintisi veya hız sorunları gibi problemleri teşhis etmesine yardımcı olur. Ek olarak, Search Console, bir sitenin sayfalarının Arama’da nasıl göründüğü ve kullanıcıların onlarla nasıl etkileşimde bulunduğu hakkında kapsamlı bilgiler sunar.

Tarayıcılarımız, insanları web’in en iyileriyle buluşturmaya yardımcı olur ve onları daha yetenekli ve verimli hale getirmenin yollarını her zaman arıyoruz.