Googlebot için robots.txt optimizasyonunu, dosyanın etki alanınızın (domain) kök dizininde yer almasını sağlayarak ve Google’ın tarayıcısına sitenizin hangi bölümlerine erişmesi gerektiğini bildiren hassas yönergeler ekleyerek yaparsınız. Bu metin dosyası, sunucunuz ile arama motoru tarayıcıları arasında bir iletişim aracı görevi görür ve temel kaynakları engellemeden taranabilir içeriğinizin sınırlarını tanımlar.
Robots.txt dosyasının işlevi nedir?
Robots.txt dosyası, web tarayıcıları için birincil talimat seti olarak hareket eder. Googlebot sitenize ulaştığında, hangi yolların yasak olduğunu anlamak için bu dosyayı kontrol eder. Google’ı bir sayfayı dizine eklemeye veya görmezden gelmeye zorlamaz; aksine, tarayıcının site yapınızda zamanını nasıl harcadığını yönetir.
Bu dosyayı tarayıcı için bir yol haritası olarak düşünün. Binlerce dinamik olarak oluşturulmuş sayfanız veya dahili arama sonucu sayfanız varsa, Google’ın işlem kapasitesini bunlar üzerinde harcamasını istemezsiniz. Net sınırlar belirleyerek botu ürün sayfaları veya blog yazıları gibi yüksek değerli içeriğinize yönlendirirsiniz, bu da sitenizin sağlıklı kalmasına yardımcı olur.
Ayrıca dosya, sunucu kararlılığını korumaya yardımcı olur. Sitenizde bir tarayıcı belirli bir URL’ye her ulaştığında tetiklenen ağır bir veritabanı varsa, bu URL’yi robots.txt dosyasında engellemek, yüksek trafik dönemlerinde tarayıcının sunucu kaynaklarınızı aşırı yüklemesini önler.
Yönergelerinizi nasıl doğru bir şekilde yapılandırırsınız?
İyi biçimlendirilmiş bir dosya, çalışmak için belirli bir sözdizimi gerektirir. Kullanıcı aracısını (user-agent) tanımlamalı ve ardından disallow veya allow kurallarını izlemelisiniz. Bu girdileri temiz tutmak, tarayıcının kafasını karıştırabilecek çelişkili sinyalleri önler.
- User-agent: Googlebot kuralları özellikle Google tarayıcısı için tanımlar.
- Disallow: /path/ belirli bir dizinin veya sayfanın taranmasını hariç tutar.
- Allow: /path/page bir alt sayfaya erişim sağlamak için küresel bir engellemeyi (disallow) geçersiz kılar.
- Sitemap: https://example.com/sitemap.xml tarayıcıları dizine eklenebilir içeriğinize yönlendirir.
Dosyanızı yazarken her zaman user-agent satırıyla başlayın. Aynı kuralların tüm botlar için geçerli olmasını istiyorsanız yıldız işareti kullanın. Googlebot’un diğer botlardan farklı davranmasını istiyorsanız, bunu ayrı olarak beyan etmelisiniz. Bu düzeyde kontrol, karmaşık mimarilere sahip siteler için gereklidir.
Dosya boyutunu her zaman 500 kilobaytın altında tutun, çünkü bu Google’ın gözlemlediği mevcut sınırdır. Daha büyük dosyalar kesilebilir ve talimatlarınızın eksik kalmasına neden olabilir. Yönergelerinizin sistem tarafından anlaşıldığını doğrulamak için Google Search Console içinde sağlanan test araçlarını kullanarak sözdiziminizi sık sık test edin.
Neden aşırı engellemeden kaçınmalısınız?
Çok fazla yolu engellemek, Google’ın sayfanızı oluşturmak (render etmek) için gereken CSS veya JavaScript dosyalarını görmesini engelleyebilir. Google bu kaynakları göremiyorsa, düzeninizi anlamakta zorlanabilir ve bu da içeriğinizi nasıl sıraladığını etkiler. Yönergelerinizi teknik klasörleri kapsayacak kadar geniş, ancak görsel öğelerinize erişime izin verecek kadar spesifik tutun.
Birçok geliştirici yanlışlıkla tüm /js/ veya /css/ dizinini engeller. Bu, dizine ekleme sistemi için bozuk bir deneyim yaratan yaygın bir hatadır. Google’ın bağlamını anlamak için sayfayı render etmesi gerektiğinden, bu dosyaları gizlemek botu sitenizin sadeleştirilmiş bir versiyonunu görmeye zorlar ki bu nadiren amaçladığınız şeydir.
Robots.txt içinde noindex yönergeleri kullanmaktan kaçının. Bu talimat için doğru yer burası değildir. Bir sayfanın dizine eklenmesini engellemek istiyorsanız, sayfanın kendisinde robots meta etiketini kullanın. Robots.txt dosyası, dizin durumunu yönetmek için değil, kesinlikle tarama erişimini kontrol etmek içindir.
Teknik gereksinimler, Google Arama’nın bir web sayfasını arama sonuçlarında gösterebilmesi için ondan ihtiyaç duyduğu asgari koşulları kapsar.
Google Search Central
Alien Road bu süreci nasıl uygular
Alien Road olarak, ilk katılım (onboarding) aşamasında her müştteri için robots.txt dosyasının teknik denetimini (audit) gerçekleştiririz. Googlebot’un düşük değerli yollarda zaman harcayıp harcamadığını belirlemek için sunucu günlüklerini (log) analiz ederiz. Yönergeleri konsolide ederek ve gereksiz disallow kurallarını kaldırarak, tarama bütçesinin işletme sonuçları getiren içeriğe ayrılmasını sağlarız.
Örneğin, e-ticaret müşterisiyle yapılan tipik bir çalışmada, renk veya boyut filtrelerinin ayrı ayrı tarandığını ve binlerce yinelenen URL oluşturduğunu sıklıkla görüyoruz. Ana kategori sayfalarının tamamen erişilebilir kalmasını sağlarken bu parametre tabanlı URL’leri engellemek için robots.txt dosyasını güncelleriz.
Dağıtımımız için adımlar
- Mevcut yönergeleri mevcut site haritası verilerine göre denetleyin.
- Artık site mimarisine uymayan eski kuralları kaldırın.
- Dosyanın Search Console’daki robots.txt test edici aracılığıyla erişilebilir olduğunu doğrulayın.
- Verimlilik iyileştirmelerini sağlamak için tarama sıklığını izleyin.
Ardından bu değişiklikleri ortak bir raporda belgelendiririz. Ekibimiz, değişikliklerin öncelikli içeriğin daha verimli bir şekilde dizine eklenmesiyle sonuçlandığını doğrulamak için takip eden dört hafta boyunca Search Console’daki Googlebot tarama etkinliğini izler.
Kaçınılması gereken yaygın hatalar nelerdir?
Yaygın hatalar arasında yanlış büyük/küçük harf duyarlılığı kullanmak veya dosyayı kök dizin yerine bir alt dizine yerleştirmek yer alır. Sunucunuzun dosya için 200 OK durum kodu döndürdüğünden emin olun, çünkü 404 hatası tarayıcıların siteyi hiçbir kısıtlaması yokmuş gibi değerlendirmesine neden olabilir. Düzenli test yapmak, bu sorunları görünürlüğünüzü etkilemeden önce yakalamanın güvenilir bir yoludur.
Başka bir hata, sondaki eğik çizginin (slash) eksikliği veya gereksiz joker karakterlerin (wildcards) dahil edilmesidir. Joker karakterler desteklenmekle birlikte, bir URL deseniyle karşılaştırılmadıklarında bazen istenmeyen sonuçlara yol açabilirler. Regex kalıplarınızı her zaman sitenizin gerçek URL yapısına karşı doğrulayın.
Robots.txt dosyasının herkese açık (public) bir dosya olduğunu unutmayın. Dosyanın içeriğini herkes okuyabileceğinden, hassas verileri veya özel yönetim sayfalarını gizlemek için bunu kullanmayın. Gerçekten özel içeriğiniz varsa, robots.txt dışlamasına güvenmek yerine şifre koruması veya diğer kimlik doğrulama yöntemlerini kullanın.
Bu hafta nereden başlamalı
domain.com/robots.txt adresine giderek mevcut robots.txt dosyanızı gözden geçirin. Görselleri veya stil dosyalarını engelleyen kuralları kontrol edin, çünkü bunlar genellikle gereksizdir ve sıralama için potansiyel olarak zararlıdır. Karmaşık veya çelişkili kurallar bulursanız, tarayıcının içeriğiniz boyunca net bir yola sahip olmasını sağlamak için bunları basitleştirin.
Dosyayı temizledikten sonra, güncellenmiş sürümü Google Search Console’a gönderin. Tarama etkinliğinde bir değişiklik olup olmadığını gözlemlemek için ‘Tarama İstatistikleri’ raporunu kontrol edin. Yönergelerinizde bilinçli olarak hareket ederek, sitenizin aramada nasıl temsil edildiği üzerinde daha iyi kontrol elde edersiniz.