Robots Yenilemesi: sayfa düzeyinde ayrıntılandırma

14 Mart 2025 Cuma

robots.txt dosyası ile robots.txt dosyası, site sahipleri bir web sitesinin hangi bölümlerinin tarayıcılar tarafından erişilebilir olduğunu kontrol etmek için basit bir yola sahiptir. Site sahiplerinin arama motorlarının ve web tarayıcılarının sayfalarını nasıl kullanabileceğini daha iyi ifade etmelerine yardımcı olmak için, web standartlarının geliştirilmesinde yer alan topluluk
robots meta etiketlerini 1996 yılında ortaya çıkardı, HTML için meta etiketlerinin önerilmesinden sadece birkaç ay sonra (ve ilginç bir şekilde, Google kurulmadan önce). Daha sonra,
X-Robots-Tag
HTTP yanıt başlıkları eklendi. Bu talimatlar bir URL ile birlikte gönderilir, bu nedenle tarayıcılar bunları yalnızca robots.txt dosyası aracılığıyla URL’yi taramaları engellenmediyse dikkate alabilirler. Birlikte, Robots Dışlama Protokolü’nü (REP) oluştururlar.

Robots meta etiketlerine bir bakış

Meta etiketleri (veya öğeleri) makine tarafından okunabilir meta verileri dahil etmenin bir yoludur. Robots meta etiketleri, bir “tür” meta meta etiketidir ve arama motoru tarayıcıları dahil olmak üzere tarayıcılar için geçerlidir. Şunları belirtirler: İçeriğin dizine eklenmesi engelleniyor mu? Sayfadaki bağlantılar tarama için izlenmemeli mi? Bu bilgiyi doğrudan sayfada robots meta etiketleri ile vermek kolaydır.

Herhangi bir URL için bir Robots Dışlama Protokolü

HTML olmayan içeriklere aynı düzeyde kontrol sağlamak için, “X-Robots-Tag” HTTP yanıt başlığı oluşturuldu. Bu
HTTP başlıkları
da REP’in bir parçası olarak kabul edilir. Başlık, robots meta etiketi ile aynı değerleri destekler ve çevrimiçi sunulan herhangi bir içerik parçasına eklenebilir. HTML’nin yanı sıra Google, bunu PDF’ler, belge dosyaları ve hatta görseller gibi içerikler için de destekler. Bu dosya biçimlerinin çoğu meta etiketlerine eşdeğer bir mekanizmaya sahip değildir, bu nedenle bir HTTP yanıt başlığı yardımcı olur.

Robots meta etiketleri ve başlıkları ile çalışmaya başlama

Sözdizimi basit ve genişletilebilirdir. Kurallar genellikle web geliştiricisi tarafından veya site sahiplerinin tercihlerini seçmek için onay kutularına veya açılır menülere sahip olabileceği bir İçerik Yönetim Sistemi (CMS) aracılığıyla uygulanır. Bu kontroller, Googlebot gibi belirli bir tarayıcıya hitap edebilir veya belirli bir adı atlayarak bu değerleri destekleyen tüm tarayıcılara hitap edebilir.

Örneğin, aşağıdaki kurallar tüm tarayıcılara ilişkili sayfayı dizine ekleme için kullanmamalarını söyler:

• Bir HTML meta etiketi biçiminde, bir web sayfasında:

  Mevcut meta etiketlerine veya yanıt başlıklarına bakmak biraz daha karmaşıktır ve sayfa içeriğinin veya başlıklarının doğrudan incelenmesini gerektirir. Herhangi bir sayfadaki HTML
  meta etiketlerini, tarayıcınızdaki sayfa kaynağına bakarak veya Chrome’un geliştirici araçlarını kullanarak
  sayfayı incele.

• Bir HTTP yanıt başlığı:

  biçiminde, Chrome’un geliştirici araçlarıyla, ağ panelinde bireysel URL’ler için HTTP yanıt başlıklarını kontrol edebilirsiniz
  ağ paneli.

Yapabileceklerinizin diğer örnekleri:

Bir REP mekanizması seçme

Hangisini kullanacağınızı nasıl seçersiniz? Temelde robots.txt ve sayfa düzeyi kontrolleri benzerdir, ancak tamamen birbirinin yerine geçemezler. Bazen yalnızca mekanizmalardan biriyle mümkün olan belirli bir eylem vardır; örneğin, tarama eylemini durdurmak istenirse (robots.txt ile mümkün olan sonsuz arama sonuçları sayfaları için olduğu gibi), bir FTP sunucusu için bir kontrole ihtiyacınız varsa (robots.txt ile mümkün) veya bir sayfa için snippet gösterilmemesi istenirse (bu yalnızca sayfa düzeyi öğeleriyle mümkündür). Tarama engelleme ile dizine eklemeyi engelleme arasında ayrım yapmanız gerekmiyorsa, bir yaklaşım daha geniş kontroller için (bir web sitesinin büyük bölümlerini engellemek için) robots.txt’yi ve bireysel sayfaları engellemek için sayfa düzeyi kontrollerini kullanmaktır.

Robots Dışlama Protokolü—güçlü, yaşayan bir standart

Bu kontrollerin tümü doğası gereği genişletilebilirdir. Yıllar içinde site sahipleri, tarayıcı operatörleri ve arama motorları bunları geliştirmek için birlikte çalıştı. noindex ve nofollowdahil olmak üzere bir avuç değerle başladı, daha sonra
nosnippet, noarchiveve max-snippet: gibi daha fazla değer benimsendi. Bazen de noodpdurumunda olduğu gibi değerler kullanımdan kaldırılır,
DMOZ / Open Directory Project
dizin kapatılmadan önce snippet’leri kullanıyordu. Google tarafından site sahipleri için desteklenen
çok sayıda değer vardır ve diğer büyük tarayıcı operatörlerinden de benzer miktarda değer mevcuttur.

REP şemsiyesi altında, site sahipleri neyin tarandığı ve taranan verilerin arama motorlarında nasıl kullanıldığı üzerinde kontrole sahiptir. Bunu web sitelerinin daha büyük bölümleri için geniş bir düzeyde veya bireysel sayfalar ve hatta sayfalar içindeki görseller için çok ayrıntılı bir düzeyde yapabilirler. Bu kontroller iyi bilinir, tüm yaygın içerik yönetim sistemlerinde mevcuttur, ticari operatörler tarafından geniş çapta desteklenir ve bugün internetteki milyarlarca ana bilgisayarda kullanılır.

Yayınlayan: John Mueller, Arama ilişkileri ekibi

Robots Yenilemesi serisinin geri kalanına göz atın: