Robots.txt faylının təhlili

10 fevral 2006

Həftənin əvvəlində sizə Sitemaps proqramı vasitəsilə təqdim etdiyimiz xüsusiyyət haqqında məlumat vermişdik:
saytın robots.txt faylını təhlil edir.
Bu xüsusiyyət haqqında daha ətraflı məlumat aşağıdadır.

Təhlilin məqsədi

Sitemaps robots.txt aləti robots.txt faylını Googlebot ilə eyni şəkildə oxuyur. Əgər alət sətri sintaktik xəta kimi şərh edirsə, Googlebot həmin sətri başa düşmür. Əgər alət URL-in icazə verildiyini göstərirsə, Googlebot həmin URL-i icazə verilmiş hesab edir.

Bu alət yalnız Google istifadəçi agentləri (məsələn, Googlebot) üçün nəticələr təqdim edir. Digər botlar robots.txt faylını eyni şəkildə şərh etməyə bilər. Məsələn, Googlebot standartın genişləndirilmiş tərifini dəstəkləyir. O başa düşür İcazə ver: sətirləri, həmçinin
* və $. Beləliklə, alət bu genişləndirmələri ehtiva edən sətirləri başa düşülən kimi göstərsə də, unutmayın ki, bu yalnız Googlebot-a şamildir və mütləq saytınızı nəzərdən keçirən digər botlara aid deyil.

Alt qovluq saytları

Robots.txt faylı yalnız saytın kök qovluğunda yerləşdiyi halda etibarlıdır. Ona görə də, hesabınızda alt qovluqda yerləşən sayta baxırsınızsa (məsələn,
https://www.example.com/mysite/), biz sizə kök qovluqdakı robots.txt faylı haqqında məlumat göstəririk (https://www.example.com/robots.txt). Bu fayla girişiniz olmaya bilər, lakin biz onu sizə göstəririk, çünki robots.txt faylı alt qovluq saytınızın indekslənməsinə təsir edə bilər və URL-lərə gözlədiyiniz kimi icazə verdiyindən əmin olmaq istəyə bilərsiniz.

Qovluqlara girişin yoxlanılması

Fayla keçən URL-i yoxlasanız (məsələn,
https://www.example.com/myfile.html), bu alət robots.txt faylının həmin fayla icazə verdiyini və ya onu blokladığını müəyyən edə bilər. Qovluğa keçən URL-i yoxlasanız (məsələn,
https://www.example.com/folder1/), bu alət robots.txt faylının həmin URL-ə girişə icazə verdiyini və ya blokladığını müəyyən edə bilər, lakin həmin qovluğun içindəki fayllara giriş barədə məlumat verə bilməz. Robots.txt faylı qovluğun özünün URL-indən fərqli olaraq qovluğun içindəki URL-lərə məhdudiyyətlər qoymuş ola bilər.

Bu robots.txt faylını nəzərdən keçirin:

Əgər yoxlasanız https://www.example.com/folder1/, alət onun bloklandığını deyəcək. Ancaq yoxlasanız https://www.example.com/folder1/myfile.html, görəcəksiniz ki, daxilində yerləşməsinə baxmayaraq bloklanmayıb folder1.

Sintaksis başa düşülmədi

Bir neçə müxtəlif səbəbə görə “sintaksis başa düşülmədi” xətası görə bilərsiniz. Ən çox yayılmış səbəb Googlebot-un sətri təhlil edə bilməməsidir. Lakin digər potensial səbəblər bunlardır:

• Saytın robots.txt faylı yoxdur, lakin server status qaytarır 200 tapılmayan səhifələr üçün. Əgər server bu şəkildə konfiqurasiya edilibsə, Googlebot robots.txt faylını tələb etdikdə server səhifə qaytarır. Lakin bu səhifə əslində robots.txt faylı deyil, ona görə də Googlebot onu emal edə bilmir.
• Robots.txt faylı etibarlı robots.txt faylı deyil. Googlebot robots.txt faylını tələb edərsə və fərqli növ fayl (məsələn, HTML faylı) alarsa, bu alət fayldakı hər sətir üçün sintaktik xəta göstərməyəcək. Əksinə, bütün fayl üçün bir xəta göstərir.
• Robots.txt faylı Googlebot-un izləmədiyi qaydanı ehtiva edir. Bəzi istifadəçi agentləri aşağıdakılardan başqa qaydalara tabe olur
  robots.txt standartı. Əgər Googlebot daha çox yayılmış əlavə qaydalardan biri ilə qarşılaşarsa, alət onları sintaktik xətalar kimi sadalayır.

Məlum problemlər

Biz alətlə bağlı bəzi məlum problemlər üzərində işləyirik, o cümlədən alətin böyük/kiçik hərfləri emal üsulu və Googlebot-dan başqa Google istifadəçi agentləri ilə təhlil. Bu problemlər həll olunduqca sizi məlumatlandıracağıq.

Paylaşdı Vanessa Fox