robots.txt dosyası nasıl kullanılır

1 Mart 2008, Cumartesi

Bir robots.txt dosyası, web’i tarayan arama motoru robotlarına (kısaca “botlar”) yönelik kısıtlamalar sağlar. Bu botlar otomatiktir ve bir sitenin sayfalarına erişmeden önce, belirli sayfalara erişimlerini engelleyen bir robots.txt dosyasının var olup olmadığını kontrol ederler. İçeriğinizin bir kısmının arama motorları tarafından dizine eklenmesini engellemek istiyorsanız, robots.txt bunun için basit bir araçtır. Bu yazımızda, nasıl kullanılacağını ele alacağız.

Robots.txt Yerleşimi

Robots.txt dosyası, bir veya daha fazla kayıt içeren bir metin dosyasıdır. Robots.txt dosyası alan adının kök dizininde bulunmalı ve adı tam olarak robots.txt olmalıdır. Bir alt dizinde bulunan robots.txt dosyası geçerli değildir; çünkü botlar bu dosyayı yalnızca alan adının kök dizininde ararlar.

Örneğin,
https://www.example.com/robots.txt geçerli bir konumdur. Ancak,
https://www.example.com/mysite/robots.txt geçerli değildir.

Bir robots.txt örneği:

Robots.txt dosyası kullanarak tüm web sitenizi engelleme veya kaldırma

Sitenizi arama motorlarından kaldırmak ve gelecekte tüm robotların siteyi taramasını engellemek için, aşağıdaki robots.txt dosyasını sunucunuzun kök dizinine yerleştirin:

Sitenizi yalnızca Google’dan kaldırmak ve gelecekte sadece Googlebot’un sitenizi taramasını engellemek için, aşağıdaki robots.txt dosyasını sunucunuzun kök dizinine yerleştirin:

Her portun kendi robots.txt dosyası olmalıdır. Özellikle, içeriği hem http hem de https üzerinden sunuyorsanız, her protokol için ayrı bir robots.txt dosyasına ihtiyacınız olacaktır. Örneğin, Googlebot’un tüm http sayfalarını dizine eklemesine izin verip https sayfalarını eklememesini sağlamak için aşağıdaki robots.txt dosyalarını kullanabilirsiniz.

Http protokolünüz için (https://example.com/robots.txt):

Https protokolü için (https://yourserver.com/robots.txt):

Tüm robotlara tam erişim izni verin

(alternatif çözüm: Sadece boş bir “/robots.txt” dosyası oluşturun veya hiç kullanmayın.)

Robots.txt dosyası kullanarak sayfaları engelleme veya kaldırma

Sitenizdeki sayfaların Googlebot tarafından taranmasını engellemek için bir robots.txt dosyası kullanabilirsiniz.

Örneğin, manuel olarak bir robots.txt dosyası oluşturuyorsanız, Googlebot’un belirli bir dizin altındaki (örneğin, private) tüm sayfaları taramasını engellemek için şu robots.txt girişini kullanırsınız:

Googlebot’un belirli bir dosya türündeki (örneğin, .gif) tüm dosyaları taramasını engellemek için şu robots.txt girişini kullanırsınız:

Googlebot’un ? içeren herhangi bir URL’yi taramasını engellemek için (daha spesifik olarak, alan adınızla başlayan, ardından herhangi bir karakter dizisi, ardından soru işareti ve ardından yine herhangi bir karakter dizisi gelen tüm URL’ler):

Robots.txt ile engellenen sayfaların içeriğini taramasak veya dizine eklemesek de, bu URL’leri web’deki diğer sayfalarda bulursak tarayabilir ve dizine ekleyebiliriz. Sonuç olarak, sayfanın URL’si veya siteye verilen bağlantılardaki çapa metni (anchor text) gibi diğer herkese açık bilgiler Google arama sonuçlarında görünebilir. Ancak, sayfalarınızdan hiçbir içerik taranmayacak, dizine eklenmeyecek veya görüntülenmeyecektir.

Google, web yöneticisi araçlarının bir parçası olarak robots.txt analiz aracı sunmaktadır. Bu araç, robots.txt dosyasını Googlebot ile aynı şekilde okur ve Google kullanıcı aracıları için sonuçlar verir. Bunu kullanmanızı şiddetle öneririz. Robots.txt oluşturmadan önce, insanlarla ne kadar bilgi paylaşmak istediğinizi veya neleri gizli tutmanız gerektiğini düşünmelisiniz. Arama motorlarının içeriğinizi daha erişilebilir kılmak için harika bir yol olduğunu unutmayın. Robots.txt’yi doğru kullanarak, kullanıcıların arama motorları aracılığıyla web sitenizi ziyaret etmesini sağlarken, aynı zamanda özel bilgilerinizin açığa çıkmasını da engelleyebilirsiniz.

Yazan: Chao Ma, In Hyuk Seok