robots.txt kullanımı

robots.txt, arama motoru botları için tarama parametrelerini belirler. Belirli bölümleri kısıtlamak sunucu yükünü azaltır ve siteyi hızlandırır. Yandex, Robots Exclusion Protocol’ü kendi uzantılarıyla destekler.

İlk ve en önemli uyarı

robots.txt içinde kısıtlanan sayfalar yine de Yandex arama sonuçlarında görünebilir. Bir sayfayı sonuçlardan kaldırmak için HTML veya HTTP başlığında noindex direktifini kullanmalısınız ve o sayfayı robots.txt içinde engellememelisiniz; çünkü engellenen bir sayfa asla taranmaz ve noindex etiketi görülmez.

Bu, teknik SEO alanındaki en önemli yanlış anlaşılmadır ve Yandex bunu ilk paragrafında belirtir. Engelleme tarama bütçesiyle, noindex ise arama görünürlüğüyle ilgilidir. İkincisini elde etmek için birincisini kullanmak, sayfanın kalıcı olarak indeksli kalmasını garantiler.

Dosya gereksinimleri

• Maksimum 500 KB.
• robots.txt adında bir TXT dosyası.
• Kök dizinde bulunmalı.
• Botlar tarafından erişilebilir olmalı ve 200 OK yanıtı döndürmeli.

Dosya bu gereksinimleri karşılamıyorsa, site indekslemeye açık kabul edilir. Hatalı biçimlendirilmiş veya ulaşılamayan bir dosya bir güvenlik ağı değil, açık bir kapıdır.

Yönlendirme özelliği

Yandex, bir sitenin robots.txt dosyasından diğerine yönlendirmeyi kabul eder ve hedef dosyadaki direktifleri uygular. Bu, özellikle her iki alan adının da tutarlı kurallar sunması gereken site taşıma süreçlerinde faydalıdır ve taşıma rehberlerinin iki dosyanın uyumlu olmasını şart koşmasının nedeni budur.

Desteklenen direktifler

• User-agent — kuralların hangi bota uygulanacağı.
• Disallow — bölümlerin veya sayfaların taranmasını yasaklama.
• Sitemap — protokol ile birlikte tam olarak belirtilen site haritası yolu.
• Clean-param — göz ardı edilecek parametreleri bildiren bir Yandex uzantısı.

Doğrulama

Dosyayı sadece sözdizimi için değil, gerçek URL’lerle konsolun robots.txt analiz aracında test edin. Temiz ayrıştırılan ancak yanlış dizini engelleyen bir dosya, hiçbir hata rapor etmez.