Disallow ve Allow direktifleri

Disallow, bölümlerin veya sayfaların taranmasını engeller; Allow ise bunlara izin verir. Yandex, Disallow arkasında nelerin yer alması gerektiğini listeler: gizli veriler içeren sayfalar, dahili arama sonuçları, trafik istatistikleri, kopyalar, günlükler ve veritabanı hizmet sayfaları.

İnsanların gözden kaçırdığı tavsiye

Adresleri GET parametreleri taşıyan sayfalar için Yandex, Disallow yerine Clean-param kullanılmasını önerir ve nedenini şöyle açıklar: Disallow ile kopya sayfanın parametresiz karşılığını tanımlayamayabilir ve engellenen sayfaların birikmiş metriklerinin bir kısmı kaybolur. Engelleme sinyalleri yok sayar; Clean-param ise bunları kanonik adreste birleştirir.

Bu, çoğu teknik denetimin sunduğundan gerçekten farklı bir cevaptır ve herhangi bir ticari sitedeki en büyük istenmeyen URL kategorisi olan izleme etiketleri, sıralama düzenleri ve oturum tanımlayıcıları için geçerlidir.

Desenler

Disallow: /            # tüm site
Disallow: /catalogue   # /catalogue ile başlayan her şey
Disallow: /page?       # URL'si /page sonrasında parametreler içeren her şey

Kombinasyon halinde Allow

User-agent: Yandex
Allow: /cgi-bin
Disallow: /

/cgi-bin ile başlayan yollar hariç her şey engellenmiştir. Bu tersine çevirme işlemi (tümünü engelle, belirli olanlara izin ver), bir hazırlık ortamı veya yalnızca birkaç bölümün taranması gereken bir uygulama için doğru yöntemdir ve her dizini tek tek hariç tutmaktan çok daha güvenlidir.

Disallow ne yapmaz?

Bir sayfayı arama sonuçlarından kaldırmaz. Engellenen bir sayfa yine de listelenebilir. Daha da kötüsü, bir sayfayı engellemek, robotun üzerindeki noindex etiketini okumasını engeller; bu nedenle bu iki araç asla aynı URL üzerinde birleştirilmemelidir.

Dağıtımdan önce

Hedeflenen URL’leri analiz aracından geçirin; hem engellenmesi gerekenleri hem de kesinlikle engellenmemesi gerekenleri. Yanlış hassasiyetteki bir kural, trafik kaybolana kadar fark edilmez.