Sitenin veya sayfaların indekslenmesini nasıl engelleyebilirim?

İçeriğin indekslenmesini engelleyen üç araç farklı seviyelerde çalışır: tüm site veya bir bölüm, tek bir sayfa ya da sayfa metninin bir kısmı.

Site, bölüm veya sayfa

• robots.txt içinde Disallow.
• noindex veya none değerine sahip robots meta etiketi.
• Yetkilendirme — Yandex, ana sayfayı gizlemek için özellikle bunu önerir ve hatırlanması gereken bir gerekçesi vardır: robots.txt ile engellenen bir ana sayfa, başka siteler ona bağlantı verirse sonuçlarda görünebilir. Engellemek, gizlemek değildir.

Gerçekten kısıtlanması gereken her şey için, yetkilendirmeyi yetkisiz istekler için 404, 403 veya 410 sunucu yanıtıyla birleştirin; böylece sayfa sadece görüntülenmeyi reddetmekle kalmaz, aynı zamanda kendisini ulaşılamaz olarak bildirir.

Sayfa metninin bir kısmı

noindex öğesi — meta etiketinden farklı, bir Yandex uzantısıdır:

<noindex>indekslenmemesi gereken metin</noindex>

Yanlış kullanıldığında tehlikeli olmasını sağlayan iki kural vardır:

• Kapanış etiketi eksikse, sayfanın geri kalan içeriğinin tamamı gizli kabul edilir. Kapatılmamış tek bir etiket, tüm sayfa metnini indeksten silebilir.
• İç içe geçmiş etiketler ilk kapanış etiketinden sonra yok sayılır, bu nedenle iç içe yerleştirme yazıldığı gibi çalışmaz.

Geçerli işaretleme için yorum biçimi kabul edilir: <!--noindex-->…<!--/noindex-->.

Bunlar arasında seçim yapmak

Birisi URL’yi doğrudan yazarsa ne olması gerektiğini sorun. Cevap “görmeliler ama sıralamaya girmemeli” ise noindex kullanın. Cevap “robot burada vakit kaybetmemeli” ise Disallow kullanın. Cevap “kimse bunu görmemeli” ise, uygun bir durum koduyla birlikte yetkilendirme kullanın. Bu üçü birbirinin yerine kullanılamaz ve en yaygın hata, üçüncüsü için ikincisini kullanmaktır.