robots.txt dosyasını analiz etme

10 Şubat 2006

Haftanın başlarında, Sitemaps programı aracılığıyla kullanıma sunduğumuz ve bir sitenin robots.txt dosyasını analiz eden özellikten bahsetmiştik. İşte bu özellik hakkında daha fazla detay.

Analiz ne anlama geliyor

Sitemaps robots.txt aracı, robots.txt dosyasını Googlebot ile aynı şekilde okur. Araç bir satırı sözdizimi hatası olarak yorumlarsa, Googlebot da o satırı anlamaz. Araç bir URL’nin izin verildiğini gösteriyorsa, Googlebot da o URL’yi izin verilmiş olarak yorumlar.

Bu araç yalnızca Google kullanıcı aracıları (Googlebot gibi) için sonuç sağlar. Diğer botlar robots.txt dosyasını aynı şekilde yorumlamayabilir. Örneğin, Googlebot standardın genişletilmiş bir tanımını destekler. Allow: satırlarının yanı sıra * ve $ karakterlerini de anlar. Bu nedenle, araç bu uzantıları içeren satırları anlaşılmış olarak gösterse de, bunun yalnızca Googlebot için geçerli olduğunu ve sitenizi tarayabilecek diğer botlar için geçerli olmayabileceğini unutmayın.

Alt dizin siteleri

Bir robots.txt dosyası yalnızca sitenin kök dizininde bulunduğunda geçerlidir. Bu nedenle, hesabınızda bir alt dizinde bulunan bir siteyi inceliyorsanız (örneğin https://www.example.com/mysite/), size kök dizindeki (https://www.example.com/robots.txt) robots.txt dosyası hakkında bilgi gösteririz. Bu dosyaya erişiminiz olmayabilir, ancak robots.txt dosyası alt dizin sitenizin taranmasını etkileyebileceğinden ve URL’lere beklediğiniz gibi izin verdiğinden emin olmak isteyebileceğinizden bunu size gösteriyoruz.

Dizinlere erişimi test etme

Bir dosyaya yönlenen bir URL’yi test ederseniz (örneğin https://www.example.com/myfile.html), bu araç robots.txt dosyasının o dosyaya izin verip vermediğini veya engelleyip engellemediğini belirleyebilir. Bir dizine yönlenen bir URL’yi test ederseniz (örneğin https://www.example.com/folder1/), bu araç robots.txt dosyasının o URL’ye erişime izin verip vermediğini veya engelleyip engellemediğini belirleyebilir, ancak o klasörün içindeki dosyalara erişim hakkında bilgi veremez. Robots.txt dosyası, klasörün içindeki URL’ler için klasörün kendi URL’sinden farklı kısıtlamalar belirlemiş olabilir.

Şu robots.txt dosyasını düşünün:

https://www.example.com/folder1/ adresini test ederseniz, araç engellendiğini söyleyecektir. Ancak https://www.example.com/folder1/myfile.html adresini test ederseniz, folder1 içinde yer almasına rağmen engellenmediğini göreceksiniz.

Anlaşılamayan sözdizimi

Birkaç farklı nedenden dolayı “sözdizimi anlaşılamadı” hatası görebilirsiniz. En yaygın olanı, Googlebot’un satırı ayrıştıramamasıdır. Ancak diğer bazı olası nedenler şunlardır:

• Sitede bir robots.txt dosyası yoktur, ancak sunucu bulunamayan sayfalar için 200 durum kodu döndürüyordur. Sunucu bu şekilde yapılandırılmışsa, Googlebot robots.txt dosyasını istediğinde sunucu bir sayfa döndürür. Ancak bu sayfa aslında bir robots.txt dosyası değildir, bu nedenle Googlebot onu işleyemez.
• Robots.txt dosyası geçerli bir robots.txt dosyası değildir. Googlebot bir robots.txt dosyası ister ve farklı bir dosya türü (örneğin bir HTML dosyası) alırsa, bu araç dosyadaki her satır için bir sözdizimi hatası göstermez. Bunun yerine, tüm dosya için tek bir hata gösterir.
• Robots.txt dosyası, Googlebot’un takip etmediği bir kural içeriyordur. Bazı kullanıcı aracıları robots.txt standardı dışındaki kurallara uyar. Googlebot daha yaygın ek kurallardan biriyle karşılaşırsa, araç bunları sözdizimi hatası olarak listeler.

Bilinen sorunlar

Aracın büyük/küçük harf duyarlılığını işleme biçimi ve Googlebot dışındaki Google kullanıcı aracılarıyla yapılan analizler dahil olmak üzere, araçla ilgili birkaç bilinen sorun üzerinde çalışıyoruz. Bu sorunları çözdükçe sizi bilgilendirmeye devam edeceğiz.

Yazan: Vanessa Fox