3 Haziran 2008, Salı
Web yayıncıları genellikle bize web üzerindeki görünürlüklerini nasıl en üst düzeye çıkarabileceklerini soruyorlar. Bunun büyük bir kısmı SEO ile ilgilidir; yani bir yayıncının içeriğinin tüm arama motorlarında göründüğünden emin olmak.
Ancak, yayıncıların arama motorlarına daha fazla bilgi iletmeleri gereken durumlar da vardır; örneğin, belirli bir içeriğin arama sonuçlarında görünmesini istememeleri gibi. Bunun için de, yayıncıların arama motorlarının sitelerine nasıl erişeceğini kontrol etmelerini sağlayan ve
Robots Exclusion Protocol (REP) olarak adlandırılan bir yöntem kullanırlar: Bu, ister sitelerinin genelindeki içerik görünürlüğünü kontrol etmek (robots.txt aracılığıyla) ister tek tek sayfalar için çok daha ayrıntılı bir düzeyde kontrol sağlamak (meta etiketleri aracılığıyla) olsun, sitelerine erişimi yönetmelerini sağlar.
90’ların başında tanıtıldığından bu yana REP, web yayıncılarının sitelerinin hangi bölümlerinin herkese açık, hangi bölümlerinin gizli kalmasını istediklerini belirlemeleri için fiili bir standart haline geldi. Bugün milyonlarca yayıncı, arama motorlarıyla iletişim kurmanın kolay ve verimli bir yolu olarak REP’i kullanıyor. Gücü; web ile paralel olarak gelişebilme esnekliğinden, büyük arama motorları ve tüm önemli robotlar genelindeki evrensel uygulamasından ve ne kadar büyük veya küçük olursa olsun her yayıncı için çalışmasından gelir.
REP neredeyse tüm arama motorları tarafından dikkate alınsa da, her birimizin farklı etiketleri nasıl yorumladığını detaylandırmak için hiç bir araya gelmemiştik. Son birkaç yıldır, Sitemaps gibi standartları öne çıkarmak ve web yöneticilerine ek araçlar sunmak için Microsoft ve Yahoo! ile birlikte çalıştık. İlk duyurudan bu yana, topluluktan gelen geri bildirimlere dayanarak daha fazla iyileştirme yaptık ve yapmaya devam edeceğiz.
Bugün, web yöneticilerinin hayatını kolaylaştırma ruhuyla, REP’i nasıl uyguladığımıza dair ayrıntılı dokümantasyonu yayınlıyoruz. Bu, web yöneticileri için ortak bir uygulama sağlayacak ve herhangi bir yayıncının, REP kurallarının üç büyük arama sağlayıcısı tarafından nasıl ele alınacağını bilmesini kolaylaştıracaktır; böylece REP, web’deki daha fazla yayıncı için daha sezgisel ve kullanıcı dostu hale gelecektir.
Öyleyse, lafı daha fazla uzatmadan…
Yaygın REP kuralları
Aşağıdaki liste, şu anda Google, Microsoft ve Yahoo! tarafından uygulanan tüm önemli REP özelliklerini içermektedir. Her özellik ile birlikte ne işe yaradığını ve bunu nasıl iletmeniz gerektiğini göreceksiniz.
Bu kuralların her biri, tüm tarayıcılar için veya belirli tarayıcılar için geçerli olacak şekilde, her tarayıcının kendini tanımlama biçimi olan belirli user-agent’lar hedeflenerek belirtilebilir. User-agent ile tanımlamanın yanı sıra, tarayıcılarımızın her biri, tarayıcının kimliğini doğrulamanıza olanak tanıyan Ters DNS tabanlı kimlik doğrulamayı da destekler.
Robots.txt kuralları
| Kural | Etki | Kullanım durumları |
Disallow | Bir tarayıcıya sitenizi dizine eklememesini söyler; ancak bu kuralı bulmak için sitenizin robots.txt dosyasının yine de taranması gerekir, ancak izin verilmeyen sayfalar taranmayacaktır. | Sitedeki ‘Taranmasın’ sayfası. Varsayılan söz dizimindeki bu kural, sitenin belirli yol(lar)ının taranmasını engeller. |
Allow | Bir tarayıcıya sitenizde dizine eklenmesini istediğiniz belirli sayfaları söyler, böylece bunu Disallow ile birlikte kullanabilirsiniz. | Bu, özellikle bir sitenin büyük bir bölümünün, içindeki küçük bir bölüm hariç tutularak Disallow ile engellendiği durumlarda kullanışlıdır. |
$ Joker Karakter Desteği | Bir tarayıcıya bir URL’nin sonundan itibaren her şeyle eşleşmesini söyler; belirli sayfaları belirtmeden çok sayıda dizin için kullanılır. | Belirli kalıplara sahip dosyaları ‘Taranmasın’ olarak işaretlemek; örneğin, her zaman belirli bir uzantıya (örneğin pdf) sahip olan dosya türleri. |
* Joker Karakter Desteği | Bir tarayıcıya bir karakter dizisiyle eşleşmesini söyler. | Belirli kalıplara sahip URL’leri ‘Taranmasın’ olarak işaretlemek; örneğin, oturum kimlikleri veya diğer gereksiz parametreleri içeren URL’leri engellemek. |
Sitemaps Konumu | Bir tarayıcıya Sitemaps dosyalarınızı nerede bulabileceğini söyler. | Tarayıcıların bir sitedeki URL’leri bulmasına yardımcı olmak için beslemelerin bulunduğu diğer konumlara işaret eder. |
HTML meta kuralları
| Kural | Etki | Kullanım durumları |
noindex meta etiketi | Bir tarayıcıya belirli bir sayfayı dizine eklememesini söyler. | Sayfayı dizine ekleme. Bu, taranan sayfaların dizin dışında tutulmasını sağlar. |
nofollow meta etiketi | Bir tarayıcıya belirli bir sayfadaki diğer içeriklere giden bağlantıyı takip etmemesini söyler. | Halka açık yazılabilir alanların, bağlantı kredisi arayan spam göndericiler tarafından kötüye kullanılmasını önleyin. nofollow kullanarak, robota bu sayfadan çıkan tüm bağlantıları dikkate almadığınızı bildirirsiniz. |
nosnippet meta etiketi | Bir tarayıcıya belirli bir sayfa için arama sonuçlarında snippet (özet) göstermemesini söyler. | Arama Sonuçlarında sayfa için snippet gösterme. |
noarchive meta etiketi | Bir arama motoruna belirli bir sayfa için “önbelleğe alınmış” bağlantısını göstermemesini söyler. | Kullanıcılara Arama Motoru önbelleğinden sayfanın bir kopyasını sunma. |
noodp meta etiketi | Bir tarayıcıya belirli bir sayfa için Open Directory Project’ten başlık ve snippet kullanmamasını söyler. | Bu sayfa için ODP (Open Directory Project) başlığını ve snippet’ini kullanma. |
Bu kurallar her türlü içerik için geçerlidir. Bunlar, bir sayfanın HTML’ine veya HTML olmayan içerikler (PDF, video vb.) için X-Robots-Tag kullanılarak HTTP başlığına yerleştirilebilir. Bunun hakkında daha fazla bilgiyi buradan okuyabilirsiniz:
X-Robots-Tag Yazısı
veya robotları ve meta etiketlerini kullanma hakkındaki
yazı dizimizden.
Diğer REP kuralları
Yukarıda listelenen kurallar Microsoft, Google ve Yahoo! tarafından kullanılmaktadır ancak diğer tüm arama motorları tarafından uygulanmayabilir. Ayrıca, aşağıdaki kurallar Google tarafından desteklenmektedir ancak yukarıdakiler gibi üçü tarafından da desteklenmemektedir:
unavailable_after meta etiketi – Bir tarayıcıya
bir sayfanın ne zaman “süresinin dolacağını”, yani hangi tarihten sonra arama sonuçlarında görünmemesi gerektiğini söyler.
noimageindex meta etiketi – Bir tarayıcıya
belirli bir sayfa için görselleri dizine eklememesini söyler.
notranslate meta etiketi – Bir tarayıcıya
arama sonuçları için sayfadaki içeriği farklı dillere çevirmemesini söyler.
İleriye dönük olarak, REP’in yeni kullanım alanları ortaya çıktıkça web yöneticilerinin bunları kullanmasını mümkün olduğunca kolaylaştırmak için birlikte çalışmaya devam etmeyi planlıyoruz. Daha fazlası için takipte kalın!
Daha fazla bilgi edinin
Robots.txt hakkında daha fazla bilgiyi dokümantasyonumuzda ve aşağıdakiler dahil birçok yararlı bilgi içeren
Google Web Yöneticisi yardım merkezinde bulabilirsiniz:
- Robots.txt dosyası nasıl oluşturulur
- Google’ın kullandığı her user-agent’ın açıklamaları
- Desen eşleştirme nasıl kullanılır
- Robots.txt dosyanızı ne sıklıkla yeniden tarıyoruz
Ayrıca web yöneticisi blogumuzda robots.txt hakkında faydalı bulabileceğiniz birkaç yazı yayınladık:
Ayrıca büyük arama motorları tarafından kullanılan
botların faydalı bir listesi de mevcuttur.
Meslektaşlarımızın neler söylediğini görmek için Yahoo! ve Microsoft tarafından yayınlanan blog yazılarına da göz atabilirsiniz.
Biz bunu nasıl uyguluyoruz
Google announcements age. We keep this post here for the record, and we note for clients whether the behaviour it describes still applies today or has since been superseded.
İlgili hizmetler