Robots.txt dosyası, bir web sitesinin kök dizininde bulunan ve web tarayıcılarına hangi sayfaları ziyaret edip etmemeleri gerektiği konusunda talimatlar veren standart bir metin belgesidir. Bir web yöneticisi ile arama motoru botları arasındaki birincil iletişim aracı olarak hizmet eder ve keşif süreci sırasında kaynakların nasıl kullanıldığını yönetmeye yardımcı olur. Teknik SEO’nun temel bir parçası olsa da, birçok site sahibi özellikle sayfa dizine ekleme ve güvenlik konularında sınırlamalarını yanlış anlamaktadır.
Robots.txt dosyasının amacı nedir?
Bir robots.txt dosyasının temel amacı tarama bütçesini yönetmektir. Google ve Bing gibi arama motorları, internetteki her bir sayfayı her gün taramak için sonsuz kaynaklara sahip değildir. Her web sitesine tarama bütçesi olarak bilinen belirli bir miktarda zaman ve enerji ayırırlar. Siteniz, dahili arama sonuçları, filtre parametreleri veya kopya içerik gibi binlerce düşük değerli sayfaya sahipse, botlar en önemli makalelerinizi veya ürünlerinizi bulmak yerine zamanlarını bunlara harcayabilirler.
Bir robots.txt dosyası kullanarak botları idari alanlardan, geçici klasörlerden veya hassas arama sorgularından uzak tutabilirsiniz. Bu, tarayıcının zamanını arama sonuçlarında görünmesini gerçekten istediğiniz yüksek kaliteli içeriğe harcamasını sağlar. Bu dosyaların herkese açık olduğunu unutmamak önemlidir; herkes alan adınıza /robots.txt ekleyerek kurallarınızı görebilir. Bu nedenle, bu dosyayı asla özel bilgileri veya hassas dizinleri kullanıcılardan gizlemek için kullanmamalısınız.
Bir robots.txt dosyasını nasıl doğru şekilde yapılandırırsınız?
Standart bir robots.txt dosyası, yönergeler ve değerlerden oluşan basit bir sözdizimi kullanır. Her talimat seti, uygulandığı botu tanımlayarak başlar ve ardından bu bot için özel kurallar gelir. Dosya tam olarak robots.txt olarak adlandırılmalı, tamamen küçük harflerle yazılmalı ve web sunucunuzun en üst düzey dizinine yerleştirilmelidir. Bir alt klasöre yerleştirilirse, arama motorları onu aramayacak ve hiçbir kuralın olmadığını varsayacaktır.
Dosyanın temel bileşenleri aşağıdaki yönergeleri içerir:
- User-agent: Kuralın hangi tarayıcı için geçerli olduğunu tanımlar (örneğin, Googlebot, Bingbot veya hepsi için *).
- Disallow: Tarayıcının ziyaret etmemesi gereken bir dizini veya sayfayı belirtir.
- Allow: Bir Disallow kuralına istisna sağlar ve belirli bir alt klasörün taranmasına izin verir.
- Sitemap: Keşfe yardımcı olması için tarayıcıyı XML site haritanızın konumuna yönlendirir.
Tipik bir hesapta, basit bir robots.txt dosyası şöyle görünebilir: User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml Bu, tüm botlara WordPress yönetici alanından uzak durmalarını söyler ancak genellikle site işlevselliği için gerekli olan AJAX dosyasına erişmelerine izin verir.
Google neden robots.txt tarafından engellenen sayfaları hala dizine ekliyor?
SEO’daki en yaygın kafa karışıklığı noktalarından biri, tarama ve dizine ekleme arasındaki farktır. Robots.txt taramayı kontrol eder, dizine eklemeyi değil. Google, sitenizdeki bir sayfaya harici bir kaynaktan bir bağlantı bulursa, sayfanın var olduğunu bilir. Robots.txt dosyanız Google’ın o sayfayı ziyaret etmesini yasaklasa bile, arama motoru harici bağlantıdan topladığı bilgilere dayanarak URL’yi yine de dizine ekleyebilir.
Bu, belirli bir soruna yol açar: bir sayfayı arama sonuçlarından tamamen uzak tutmak istiyorsanız, bir ‘noindex’ meta etiketi kullanmalısınız. Ancak, bir ‘noindex’ etiketi yalnızca arama motoru etiketi görmek için sayfayı tarayabiliyorsa çalışır. Sayfayı robots.txt’de engellerseniz, bot sayfayı asla ziyaret etmez, ‘noindex’ talimatını asla görmez ve sayfa arama sonuçlarında kalabilir. Bir sayfanın ‘noindex’ yoluyla kaldırılması için tarayıcı tarafından erişilebilir olması gerekir.
Arama sıralamalarına zarar veren yaygın robots.txt hataları
Robots.txt dosyanızdaki tek bir karakter hatası ciddi sonuçlar doğurabilir. Web sitesi geçişleri veya geliştirme aşamalarında, geliştiricilerin bir hazırlık sitesinin dizine eklenmesini önlemek için ‘Disallow: /’ kullanması yaygındır. Bu yönerge, tüm tarayıcıları sitenin her sayfasından engeller. Bu kod yanlışlıkla canlı üretim sunucusuna taşınırsa, botlara ziyaret etmeyi bırakmaları söylendiği için tüm web siteniz sonunda arama sonuçlarından kaybolacaktır.
Bir diğer sık yapılan hata, CSS ve JavaScript dosyaları gibi dahili varlıkları engellemektir. Tarihsel olarak, arama motorları yalnızca metin içeriğiyle ilgilenirdi. Bugün, Googlebot düzeni, mobil uyumluluğu ve kullanıcı deneyimini değerlendirmek için sayfaları modern bir tarayıcı gibi işler. Robots.txt dosyanız stillerinizi veya betiklerinizi içeren klasörleri engelliyorsa, arama motoru sitenizin bozuk bir sürümünü görür, bu da daha düşük sıralamalara ve arama konsollarında ‘mobil kullanılabilirlik’ hatalarına yol açabilir.
Büyük/küçük harf duyarlılığı, hataların meydana geldiği bir diğer alandır. ‘User-agent’ gibi yönergeler büyük/küçük harfe duyarlı olmasa da, dosya ve klasör yolları genellikle duyarlıdır. Örneğin, ‘Disallow: /Private/’ komutu ‘/private/’ adlı bir klasörü engellemeyecektir. Bu teknik çatışmalardan kaçınmak için sunucunuzdaki tüm dosya ve klasör adları için küçük harf kullanmak en iyi uygulamadır.
E-ticaret ve büyük web siteleri için robots.txt yönetimi
Binlerce giyim ürünü satan bir Shopify mağazası gibi büyük web siteleri benzersiz zorluklarla karşılaşır. E-ticaret platformları genellikle renk, beden veya fiyat aralığı filtreleri gibi yönlü gezinme yoluyla çok sayıda URL oluşturur. Bu filtrelenmiş sayfalar genellikle dizine eklenmesi gerekmeyen kopya içerikler içerir. Uygun bir robots.txt stratejisi olmadan, bu siteler tarama bütçelerini gereksiz URL parametrelerinde kolayca tüketebilirler.
Örneğin, genellikle bir izleme parametresini veya filtreyi ifade eden soru işareti içeren tüm URL’leri engellemek için ‘Disallow: /*?*’ gibi bir kural kullanabilirsiniz. Ancak, parametreleri de kullanan temel sayfaları engellememeye dikkat etmelisiniz. Alien Road olarak, hangi URL kalıplarının en sık tarandığını belirlemek ve arama kullanıcılarına gerçek bir değer sağlayıp sağlamadıklarını belirlemek için dahili arama sorgusu günlüklerinizi gözden geçirmenizi öneririz.
Robots.txt dosyanızı nasıl test eder ve doğrularsınız?
Canlı sitenizde değişiklik yapmadan önce kurallarınızı her zaman doğrulamalısınız. Google, Search Console’un eski sürümünde kodunuzu yapıştırmanıza ve belirli URL’leri ona karşı test etmenize olanak tanıyan bir Robots.txt Test aracı sağlar. Bu, hangi kuralların hangi sayfaları engellediğini tam olarak görmenize yardımcı olur. Ayrıca, sözdizimi hatalarını veya mantıksal çelişkileri vurgulayabilen çeşitli üçüncü taraf tarayıcı uzantıları ve çevrimiçi doğrulayıcılar da vardır.
Doğrulama için yaygın bir model şu adımları içerir:
- Dosyanın yourdomain.com/robots.txt adresinde erişilebilir olduğunu kontrol edin.
- Tüm siteyi engelleme niyetiniz olmadığı sürece ‘Disallow: /’ kurallarının olmadığından emin olun.
- CSS ve JS klasörlerinizin engellenmediğini doğrulayın.
- XML site haritası URL’nizin dosyanın sonunda doğru şekilde listelendiğinden emin olun.
- İzin verildiğinden emin olmak için en önemli ürün veya açılış sayfalarınızı test edin.
Bu hafta nereden başlamalı
İlk adımınız, şu anda hangi talimatların canlı olduğunu görmek için kendi web sitenizin /robots.txt adresini ziyaret etmek olmalıdır. Google Search Console ‘Dizine Ekleme’ raporunuzda ‘Dizine eklendi, ancak robots.txt tarafından engellendi’ diyen uyarıları kontrol edin. Bu, Google’ın yine de dizine ekleyecek kadar önemli bulduğu sayfaları engellediğinizi gösterir ki bu da stratejinizde bir mantık hatası olduğunun işaretidir. Bunları bulursanız, engeli kaldırmanız mı yoksa taramaya izin verirken bir ‘noindex’ etiketi mi eklemeniz gerektiğini değerlendirin. Son olarak, tarayıcıların sitenizde verimli bir şekilde gezinmesine yardımcı olmak için site haritanızın düzgün bir şekilde bağlantılı olduğundan emin olun.
Okumaya devam edin: SEO (Arama Motoru Optimizasyonu) · SEO