robots.txt dosyası kullanmak

24 Şubat 2006

Birkaç hafta önce bir
robots.txt analiz aracı
yayınladık. Bu araç,
Googlebot
robotunun robots.txt dosyanızı nasıl yorumladığı hakkında size bilgi verir.
robots.txt Robots Dışlama Standardı
hakkında daha fazla bilgi okuyabilirsiniz, ancak burada bazı yaygın soruları yanıtlamanın faydalı olacağını düşündük.

robots.txt dosyası nedir?

Bir robots.txt dosyası, web’i tarayan arama motoru robotlarına (“botlar” olarak bilinir) kısıtlamalar sağlar. Bu botlar otomatiktir ve bir sitenin sayfalarına erişmeden önce, belirli sayfalara erişimlerini engelleyen bir robots.txt dosyasının var olup olmadığını kontrol ederler.

Sitemin bir robots.txt dosyasına ihtiyacı var mı?

Yalnızca sitenizde arama motorlarının dizine eklemesini istemediğiniz içerikler varsa gereklidir. Sitenizdeki her şeyin arama motorları tarafından dizine eklenmesini istiyorsanız, bir robots.txt dosyasına (boş bir tane bile olsa) ihtiyacınız yoktur.

robots.txt dosyası nerede bulunmalıdır?

robots.txt dosyası mutlaka alan adının kök dizininde bulunmalıdır. Bir alt dizinde bulunan robots.txt dosyası geçerli değildir, çünkü botlar bu dosyayı yalnızca alan adının kök dizininde kontrol ederler. Örneğin, https://www.example.com/robots.txt geçerli bir konumdur. Ancak, https://www.example.com/mysite/robots.txt geçerli değildir. Bir alan adının kök dizinine erişiminiz yoksa,
Robots META etiketi
kullanarak erişimi kısıtlayabilirsiniz.

Nasıl robots.txt dosyası oluştururum?

Bu dosyayı herhangi bir metin düzenleyicide oluşturabilirsiniz. HTML dosyası değil,
ASCII kodlu bir metin dosyası
olmalıdır. Dosya adı küçük harflerle yazılmalıdır.

robots.txt dosyamın sözdizimi nasıl olmalıdır?

En basit robots.txt dosyası iki kural kullanır:

• User-Agent: aşağıdaki kuralın uygulandığı robot
• Disallow: engellemek istediğiniz sayfalar

Bu iki satır, dosya içinde tek bir girdi olarak kabul edilir. İstediğiniz kadar girdi ekleyebilirsiniz. Tek bir girdiye birden fazla Disallow satırı ekleyebilirsiniz.

User-Agent

User-agent, belirli bir arama motoru robotudur.
Web Robotları Veritabanı
birçok yaygın botu listeler. Bir girdiyi belirli bir bota (adını listeleyerek) veya tüm botlara (yıldız işareti kullanarak) uygulanacak şekilde ayarlayabilirsiniz. Tüm botlar için geçerli olan bir girdi şu şekilde görünür:

Disallow

Disallow satırı, engellemek istediğiniz sayfaları listeler. Belirli bir URL’yi veya bir kalıbı listeleyebilirsiniz. Girdi bir eğik çizgi (/) ile başlamalıdır.

• Tüm siteyi engellemek için, eğik çizgi kullanın: Disallow: /
• Bir dizini engellemek için, dizin adından sonra eğik çizgi ekleyin:
  Disallow: /private_directory/
• Bir sayfayı engellemek için, sayfayı listeleyin:
  Disallow: /private_file.html

URL’ler büyük/küçük harfe duyarlıdır. Örneğin, Disallow: /private_file.html ifadesi https://www.example.com/private_file.html adresini engeller, ancak https://www.example.com/Private_File.html adresine izin verir.

Googlebot’u nasıl engellerim?

Google birkaç farklı user-agent kullanır. Bir girdinin User-Agent satırına bot adını ekleyerek bunlardan herhangi birine erişimi engelleyebilirsiniz.

• Googlebot: sayfaları
  web dizinimizden tarar.
• Googlebot-Mobile: sayfaları
  mobil dizinimiz için tarar.
• Googlebot-Image: sayfaları
  görsel dizinimiz için tarar.
• Mediapartners-Google: sayfaları
  AdSense içeriğini belirlemek için tarar (yalnızca sitenizde AdSense reklamları gösteriyorsanız kullanılır).

Sayfalara izin verebilir miyim?

Evet, Googlebot, robots.txt standardının Allow adlı bir uzantısını tanır. Bu uzantı diğer tüm arama motoru botları tarafından tanınmayabilir, bu yüzden ilgilendiğiniz diğer arama motorlarını kontrol edin. Allow satırı tam olarak Disallow satırı gibi çalışır. Sadece izin vermek istediğiniz dizini veya sayfayı listeleyin.

Disallow ve Allow komutlarını birlikte kullanmak isteyebilirsiniz. Örneğin, bir alt dizindeki tüm sayfalara erişimi engellemek ancak bir tanesine izin vermek için şu girdileri kullanabilirsiniz:

Bu girdiler, myfile.html hariç folder1 dizini içindeki tüm sayfaları engeller.

Sitemdeki bazı sayfaların dizine eklenmesini istemiyorum ama bu sayfalarda AdSense reklamları göstermek istiyorum. Bunu yapabilir miyim?

Evet, Mediapartners-Google dışındaki tüm botların bu sayfalara erişimini Disallow ile engelleyebilirsiniz. Bu, sayfaların dizine eklenmesini önler ancak Googlebot-MediaPartners botunun gösterilecek reklamları belirlemek için sayfaları analiz etmesine olanak tanır. Googlebot-MediaPartners botu, sayfaları diğer Google user-agent’ları ile paylaşmaz. Örneğin, şu girdileri kullanabilirsiniz:

Engellemek istediğim her dosyayı listelemek istemiyorum. Kalıp eşleştirme kullanabilir miyim?

Evet, Googlebot bazı kalıp eşleştirmelerini yorumlar. Bu, standardın bir uzantısıdır, bu nedenle tüm botlar bunu takip etmeyebilir.

Bir karakter dizisini eşleştirme

Bir karakter dizisini eşleştirmek için yıldız işareti (*) kullanabilirsiniz. Örneğin, private ile başlayan tüm alt dizinlere erişimi engellemek için şu girdiyi kullanabilirsiniz:

Dosyamın istediklerimi engellediğinden ve izin verdiğinden nasıl emin olabilirim?

Şu işlemler için
robots.txt analiz aracımızı kullanabilirsiniz:

• robots.txt dosyanızın belirli URL’lere izin verip vermediğini veya onları engelleyip engellemediğini kontrol edin.
• Googlebot’un robots.txt dosyanızdaki herhangi bir satırı ayrıştırırken sorun yaşayıp yaşamadığını görün.
• robots.txt dosyanızdaki değişiklikleri test edin.

Ayrıca, şu anda bir robots.txt dosyası kullanmıyorsanız, bir tane oluşturabilir ve sitenize yüklemeden önce araçla test edebilirsiniz.

robots.txt dosyamı değiştirirsem veya yeni bir tane yüklersem, ne kadar sürede etkili olur?

Genellikle robots.txt dosyalarını günde yaklaşık bir kez indiriyoruz. Dosyanızı en son ne zaman indirdiğimizi, Sitemaps hesabınızdaki robots.txt sekmesine giderek ve Son indirilme tarih ve saatini kontrol ederek görebilirsiniz.

Yazan: Vanessa Fox