7 Mart 2025, Cuma
Web sitesi sahipleri için uzun süredir kullanılan bir araç olan robots.txt, 30 yılı aşkın süredir aktif olarak kullanılmaktadır ve tarayıcı operatörleri (site sahipleri için araçlar, hizmetler ve arama motorları gibi) tarafından geniş çapta desteklenmektedir. Robots Refresher serimizin bu bölümünde, robots refresher serisi, robots.txt’yi robotlara web sitenizde ne yapmalarını (veya yapmamalarını) söylemenin esnek bir yolu olarak daha yakından inceleyeceğiz.
robots.txt ile başlangıç
Bu dosyaların çalışma şekli basittir: “robots.txt” adında bir metin dosyası oluşturur ve bunu web sitenize yüklersiniz; bir içerik yönetim sistemi (CMS) kullanıyorsanız, bu muhtemelen daha da kolaydır. Sitenizin tamamının taranmasında bir sakınca yoksa robots.txt dosyanızı boş bırakabilir (veya hiç oluşturmayabilirsiniz) ya da taramayı yönetmek için kurallar ekleyebilirsiniz. Örneğin, tüm botlara (tarayıcılar, robotlar, örümcekler olarak da bilinir) “sepete ekle” sayfanızdan uzak durmalarını söylemek için robots.txt dosyanıza şunları yazabilirsiniz:
robots.txt ile yapabileceğiniz daha özel şeyler
robots.txt, farklı robotların web sitenizde ne yapıp ne yapmayacağını ifade etmenin İsviçre çakısı gibidir: sadece birkaç satırdan oluşabileceği gibi, çok özel URL kalıplarını hedefleyen daha ayrıntılı kurallarla karmaşık da olabilir. robots.txt dosyasını teknik sorunları çözmek (örneğin, gereksiz sayfalandırılmış sayfalar) veya editoryal ya da kişisel nedenlerle (örneğin, bazı şeylerin taranmasını istememek gibi) kullanabilirsiniz. Örneğin şunları yapabilirsiniz:
Birden fazla bota (hepsine değil) aynı kural hakkında bilgi verin Bu grup hem | |
Bir bota, belirli bir metin parçasını içeren yollardan kaçınmasını söyleyin Örneğin, | |
Bir bota blogunuzu tarayabileceğini ancak taslakları tarayamayacağını söyleyin | |
Bir tarayıcıyı web sitenizin bir kısmından engellerken diğer tarayıcıların sitenize erişmesine izin verin Bu robots.txt dosyası, belirtilen | |
Gelecekteki kendiniz için bir not bırakın Bir satıra |
Daha fazlası için faydalı robots.txt kuralları listemize.
robots.txt dosyanızda değişiklik yapma (pratik olarak)
Robots Exclusion Protocol (REP) Robots Exclusion Protocol (REP) , kuralları (“allow” veya “disallow“) bir araya getirerek ve bu kuralların hangi robotlar için geçerli olduğunu belirterek çalışır. Programlama öğrenmenize veya araçlarla uğraşmanıza gerek yoktur; bu kuralları bir metin dosyasına koyup web sitenize yüklemeniz yeterlidir.
Çoğu web sitesi için bu çok daha basittir! Bir CMS kullanıyorsanız, genellikle robots.txt dosyanızı değiştirmenize yardımcı olacak yerleşik bir özellik bulunur. Örneğin, bazı CMS’ler robots.txt dosyanızı onay kutuları veya basit bir form aracılığıyla özelleştirmenize olanak tanır ve birçoğunun robots.txt dosyanız için kurallar oluşturmanıza ve yazmanıza yardımcı olan eklentileri vardır. CMS’niz içinde nelerin mümkün olduğunu kontrol etmek için CMS adınız +”edit robots.txt file” şeklinde bir arama yapabilirsiniz.
Her şeyi ayarladıktan sonra, dosyanızın amaçladığınız gibi ayarlandığından emin olmak için test yapabilirsiniz. Web topluluğu tarafından bu konuda yardımcı olmak için oluşturulmuş birçok test aracı vardır, örneğin
TametheBot’un robots.txt test aracı
ve robots.txt ayrıştırıcısı gibi araçlar açık kaynaklı robots.txt ayrıştırıcı kütüphanesini.
kullanmaktadır. robots.txt hakkında herhangi bir sorunuz varsa, bizi LinkedIn
üzerinden bulabilir veya topluluk forumlarımızda.
Robots Refresher serisinin geri kalanına göz atın:
Biz bunu nasıl uyguluyoruz
We archive Search Central announcements because client questions often trace back to a change that was announced years ago. Reading the original is faster than reconstructing it from second-hand summaries.
İlgili hizmetler