Bir robots.txt dosyası, arama motoru tarayıcılarına sitenizdeki hangi URL’lere erişebileceklerini söyler.
Bu dosya temel olarak sitenize aşırı istek yüklenmesini önlemek için kullanılır; bir web sayfasını Google’dan uzak tutmak için bir mekanizma değildir. Bir web sayfasını Google’dan uzak tutmak için,
noindex ile dizine eklemeyi engelleyin
veya sayfayı parola ile koruyun.
robots.txt dosyası ne için kullanılır?
Bir robots.txt dosyası öncelikli olarak sitenize gelen tarayıcı trafiğini yönetmek ve dosya türüne bağlı olarak genellikle bir dosyayı Google’dan uzak tutmak için kullanılır:
| robots.txt’nin farklı dosya türleri üzerindeki etkisi | |
|---|---|
| Web sayfası | Web sayfaları (HTML, PDF veya Google’ın okuyabildiği diğer medya dışı formatlar) için, sunucunuzun Google tarayıcısından gelen isteklerle aşırı yükleneceğini düşünüyorsanız tarama trafiğini yönetmek veya sitenizdeki önemsiz ya da benzer sayfaların taranmasını önlemek amacıyla robots.txt dosyasını kullanabilirsiniz. Web sayfanız bir robots.txt dosyası ile engellenmişse, URL’si arama sonuçlarında görünebilir ancak arama sonucu bir açıklamaya sahip olmaz. Engellenen sayfaya gömülü resim dosyaları, video dosyaları, PDF’ler ve diğer HTML olmayan dosyalar, taranmasına izin verilen diğer sayfalar tarafından referans gösterilmedikçe tarama dışında tutulacaktır. Sayfanız için bu arama sonucunu görüyorsanız ve düzeltmek istiyorsanız, sayfayı engelleyen robots.txt girişini kaldırın. Sayfayı Arama’dan tamamen gizlemek istiyorsanız, başka bir yöntem kullanın. |
| Medya dosyası | Tarama trafiğini yönetmek ve ayrıca resim, video ve ses dosyalarının Google Arama sonuçlarında görünmesini engellemek için robots.txt dosyasını kullanın. Bu, diğer sayfaların veya kullanıcıların resim, video veya ses dosyanıza bağlantı vermesini engellemez. |
| Kaynak dosyası | Önemsiz resim, komut dosyası veya stil dosyaları gibi kaynak dosyalarını, bu kaynaklar olmadan yüklenen sayfaların kayıptan önemli ölçüde etkilenmeyeceğini düşünüyorsanız, robots.txt dosyası ile engelleyebilirsiniz. Ancak, bu kaynakların yokluğu Google’ın tarayıcısının sayfayı anlamasını zorlaştırıyorsa bunları engellemeyin; aksi takdirde Google, bu kaynaklara bağlı sayfaları analiz etme konusunda başarılı olamaz. |
robots.txt dosyasının sınırlamalarını anlayın
Bir robots.txt dosyası oluşturmadan veya düzenlemeden önce, bu URL engelleme yönteminin sınırlarını bilmelisiniz. Hedeflerinize ve durumunuza bağlı olarak, URL’lerinizin web’de bulunamaz olduğundan emin olmak için başka mekanizmaları değerlendirmek isteyebilirsiniz.
- robots.txt kuralları tüm arama motorları tarafından desteklenmeyebilir.
robots.txt dosyalarındaki talimatlar, sitenizdeki tarayıcı davranışını zorunlu kılamaz; bunlara uymak tarayıcının inisiyatifindedir. Googlebot ve diğer saygın web tarayıcıları robots.txt dosyasındaki talimatlara uysa da, diğer tarayıcılar uymayabilir. Bu nedenle, bilgileri web tarayıcılarından güvenli bir şekilde korumak istiyorsanız, sunucunuzdaki özel dosyaları parola ile korumak gibi başka engelleme yöntemleri kullanmak daha iyidir. - Farklı tarayıcılar söz dizimini farklı yorumlar.
Saygın web tarayıcıları robots.txt dosyasındaki kurallara uysa da, her tarayıcı kuralları farklı yorumlayabilir. Bazı tarayıcılar belirli talimatları anlamayabileceğinden, farklı web tarayıcılarına hitap etmek için doğru söz dizimini bilmelisiniz. - robots.txt dosyasında izin verilmeyen bir sayfa, diğer sitelerden bağlantı verilirse yine de dizine eklenebilir.
Google, robots.txt dosyası tarafından engellenen içeriği taramasa veya dizine eklemese de, web’in başka yerlerinden bağlantı verilirse engellenen bir URL’yi bulup dizine ekleyebiliriz. Sonuç olarak, URL adresi ve potansiyel olarak sayfaya verilen bağlantılardaki bağlantı metni gibi kamuya açık diğer bilgiler Google Arama sonuçlarında görünmeye devam edebilir. URL’nizin Google Arama sonuçlarında görünmesini düzgün bir şekilde engellemek için sunucunuzdaki dosyaları parola ile koruyun,noindexmetaetiketini veya yanıt başlığını kullanın ya da sayfayı tamamen kaldırın.
robots.txt dosyası oluşturun veya güncelleyin
Bir dosyaya ihtiyacınız olduğuna karar verdiyseniz, nasıl robots.txt dosyası oluşturacağınızı öğrenin. Eğer zaten bir dosyanız varsa, nasıl güncelleyeceğinizi öğrenin.
Daha fazla bilgi mi istiyorsunuz? Aşağıdaki kaynaklara göz atın:
- robots.txt dosyası nasıl yazılır ve gönderilir
- robots.txt dosyanızı güncelleyin
- Google, robots.txt spesifikasyonunu nasıl yorumlar
Biz bunu nasıl uyguluyoruz
Robots.txt controls crawling, not indexing, and that distinction causes more damage than any other misunderstanding in technical SEO. A blocked URL can still appear in results with no description, which is usually the worst of both outcomes.
İlgili hizmetler