Robots Tazeleme: yeni bir seriye giriş

24 Şubat 2025, Pazartesi

Zaman zaman robots.txt, robots meta etiketleri ve sundukları kontrol işlevselliği hakkında sorular alıyoruz. Şunun ardından: Aralık ayı tarama serisi, bunun hafif bir tazeleme yapmak için mükemmel bir zaman olduğunu düşündük. Bu kontrollere meraklıysanız, bu yeni blog yazı dizisini takip edin!

En baştan, robots.txt ile başlayalım.

Peki, robots.txt nedir?

A “robots.txt” herhangi bir web sitesinin sağlayabileceği bir dosyadır. En basit haliyle, sunucuda depolanan bir metin dosyasıdır. Hemen hemen tüm web sitelerinde bir robots.txt dosyası bulunur. Bir tanesine bakmak için alan adını alın ve /robots.txt sonuna ekleyin, ardından bu adrese gidin. Örneğin, bu web sitesinin robots.txt dosyası şurada: developers.google.com/robots.txt.

Çoğu web sitesi, bu dosyaları otomatik olarak oluşturan içerik yönetim sistemlerini (CMS) kullanır, ancak web sitenizi “elle” yapıyor olsanız bile oluşturması kolaydır. Gelecek yazılarda bazı varyasyonlara göz atacağız.

Bu dosyalar ne işe yarar?

robots.txt dosyaları, web sitesi tarayıcılarına bir web sitesinin hangi bölümlerinin otomatik erişime (buna tarama diyoruz) açık olduğunu ve hangilerinin olmadığını söyler. Sitelerin tüm siteleri, sitelerinin bölümleri ve hatta sitelerindeki belirli dosyalar hakkında her şeyi ele almalarına olanak tanır. Makine tarafından okunabilir olmasının yanı sıra, dosyalar insan tarafından da okunabilir. Bu, belirli bir tarayıcı tarafından otomatik bir şekilde bir sayfaya erişilip erişilemeyeceği konusunda her zaman net bir evet veya hayır cevabı olduğu anlamına gelir.

Bir tarayıcı oluşturan herkesin bu yönergelere uyması standart bir uygulamadır ve bir geliştiricinin bunları desteklemesi kolaydır; şundan fazla 1000 açık kaynaklı kütüphane mevcuttur
geliştiriciler için. Dosya, bir web sitesinin en iyi şekilde taranması için tarayıcılara talimatlar verir. Modern web siteleri karmaşık olabilir, bunları otomatik olarak gezmek zor olabilir ve robots.txt kuralları tarayıcıların uygun içeriğe odaklanmasına yardımcı olur. Bu aynı zamanda tarayıcıların sunucuda yük oluşturabilecek dinamik olarak oluşturulmuş sayfalardan kaçınmasına ve taramayı gereksiz yere verimsiz hale getirmemesine yardımcı olur. robots.txt dosyaları hem teknik olarak yararlı hem de web sitesi sahipleriyle ilişkiler için iyi olduğundan, çoğu ticari tarayıcı operatörü bunlara uyar.

Halk tarafından inşa edildi ve genişletildi

robots.txt dosyaları neredeyse internetin var olduğu kadar uzun süredir var ve internetin işleyişini sağlayan temel araçlardan biridir. Web sayfalarının temeli olan HTML 1991’de icat edildi, ilk tarayıcılar 1992’de geldi ve robots.txt 1994’te ortaya çıktı. Bu, 1998’de kurulan Google’dan bile daha eski oldukları anlamına gelir. Format o zamandan beri çoğunlukla değişmedi ve
ilk günlerden kalma bir dosya
şu anda hala geçerli olacaktır. Üç yıllık küresel topluluk katılımıyla, bir
IETF önerilen standardı
haline getirildi 2022’de.

Bir web siteniz varsa, muhtemelen bir robots.txt dosyanız da vardır. robots.txt etrafında canlı ve aktif bir topluluk var, her şekil ve boyuttaki robots.txt dosyalarını oluşturmaya, test etmeye, yönetmeye veya anlamaya yardımcı olan binlerce yazılım aracı var. Ancak robots.txt’nin güzelliği, süslü araçlara ihtiyacınız olmamasıdır; dosyayı bir tarayıcıda okumak ve yönettiğiniz bir web sitesi için basit bir metin düzenleyicide ayarlamak mümkündür.

İleriye bakış…

robots.txt formatı esnektir. Büyüme için yer vardır, halka açık web topluluğu bunu genişletebilir ve tarayıcılar mevcut kullanımı bozmadan uygun olduğunda uzantıları duyurabilir. Bu, 2007’de arama motorları “sitemap”i duyurduğunda
yönergesi ile gerçekleşti. Ayrıca, AI amaçları için kullanılanlar gibi yeni “user-agent”lar tarayıcı operatörleri ve arama motorları tarafından desteklendikçe düzenli olarak gerçekleşmektedir.

robots.txt kalıcıdır. Yeni dosya formatlarının daha geniş internet topluluğuyla nihai hale gelmesi birkaç yıl alır, onları ekosistem için yararlı hale getirecek uygun araçların gelmesi ise daha da uzun sürer. Kolaydır, ayrıntılı ve ifade edicidir, iyi anlaşılır ve kabul edilir ve onlarca yıldır çalıştığı gibi çalışmaya devam eder.

Ayrıntılar hakkında daha fazla bilgi almak ister misiniz? Search Central blogundaki Robots Tazeleme serimizin bir sonraki sayıları için takipte kalın!

Yayınlayan: John Mueller, Arama ilişkileri ekibi, Google Zürih

Robots Tazeleme serisinin geri kalanına göz atın: