Robots meta etiketini kullanma

6 Mart 2007, Salı

Yakın zamanda Danny Sullivan, arama motorlarının meta etiketlerini nasıl ele aldığına dair
önemli sorular gündeme getirdi.
İşte Google’da bu etiketleri nasıl yönettiğimize dair bazı yanıtlar.

Birden fazla içerik değeri

Tüm içerik değerlerini tek bir meta etiketi içine yerleştirmenizi öneririz. Bu, meta etiketlerinin okunmasını kolaylaştırır ve çakışma olasılığını azaltır. Örneğin:

Sayfa aynı türde birden fazla meta etiketi içeriyorsa, içerik değerlerini birleştiririz.
Örneğin, şu ifadeyi:

şu şekilde yorumlarız:

İçerik değerleri çakışırsa, en kısıtlayıcı olanı kullanırız. Yani, sayfada şu meta etiketleri varsa:

noindex değerine uyarız.

Gereksiz içerik değerleri

Varsayılan olarak Googlebot bir sayfayı dizine ekler ve bağlantıları takip eder. Bu nedenle sayfaları index veya follow içerik değerleriyle etiketlemenize gerek yoktur.

robots meta etiketini doğrudan Googlebot’a yönlendirme

Tüm arama motorlarına talimat vermek için meta adını robots olarak ayarlayın. Yalnızca Googlebot’a talimat vermek için meta adını Googlebot olarak ayarlayın. Farklı arama motorları için farklı talimatlar vermek istiyorsanız (örneğin, bir arama motorunun sayfayı dizine eklemesini, diğerinin eklememesini istiyorsanız), genel bir robots meta etiketi ile özel bir etiketi birleştirmek yerine, her arama motoru için özel bir meta etiketi kullanmak en iyisidir. robotstxt.org adresinde bir bot listesi bulabilirsiniz.

Büyük/küçük harf kullanımı ve boşluklar

Googlebot, küçük ve büyük harflerin her türlü kombinasyonunu anlar. Bu nedenle aşağıdaki meta etiketlerinin her biri tam olarak aynı şekilde yorumlanır:

Birden fazla içerik değeriniz varsa, aralarına virgül koymalısınız; ancak boşluk bırakıp bırakmamanız fark etmez. Dolayısıyla aşağıdaki meta etiketleri aynı şekilde yorumlanır:

Hem robots.txt dosyası hem de robots meta etiketleri kullanıyorsanız

Bir sayfa için robots.txt ve meta etiketi talimatları çakışırsa, Googlebot en kısıtlayıcı olanı izler. Daha spesifik olarak:

• Bir sayfayı robots.txt ile engellerseniz, Googlebot sayfayı asla taramaz ve sayfadaki hiçbir meta etiketini okumaz.
• Bir sayfaya robots.txt ile izin verip ancak meta etiketi kullanarak dizine eklenmesini engellerseniz, Googlebot sayfaya erişir, meta etiketini okur ve sonuç olarak sayfayı dizine eklemez.

Geçerli meta robots içerik değerleri

Googlebot aşağıdaki robots meta etiketi değerlerini yorumlar:

• noindex: sayfanın dizine dahil edilmesini engeller.
• nofollow: Googlebot’un sayfadaki hiçbir bağlantıyı takip etmesini engeller. (Bunun, Googlebot’un tek bir bağlantıyı takip etmesini engelleyen bağlantı düzeyindeki nofollow özniteliğinden farklı olduğuna dikkat edin.)
• noarchive: bu sayfanın önbelleğe alınmış bir kopyasının arama sonuçlarında görünmesini engeller.
• nosnippet: arama sonuçlarında sayfanın altında bir açıklama görünmesini engeller ve sayfanın önbelleğe alınmasını önler.
• noodp: Open Directory Project açıklamasının, arama sonuçlarında sayfanın altında görünen açıklamada kullanılmasını engeller.
• none: noindex, nofollow ile eşdeğerdir.

none içerik değeri hakkında bir not

robotstxt.org tarafından tanımlandığı üzere, aşağıdaki yönlendirme noindex, nofollow anlamına gelir.

Ancak bazı web yöneticileri bu etiketi hiçbir robots kısıtlaması olmadığını belirtmek için kullanır ve yanlışlıkla tüm arama motorlarının içeriklerine erişimini engeller.