Google robots.txt faylını necə şərh edir

Google faylı sadəlövh gözləntilərdən fərqli olan xüsusi qaydalarla təhlil edir. Onları səhv etmək adətən səssizcə uğursuzluqla nəticələnir.

Prioritet

Ən spesifik qayda qalib gəlir, yol uzunluğu ilə ölçülür. Əgər Disallow: /folder/ və Allow: /folder/page hər ikisi uyğun gəlirsə, daha uzun olan Allow qalib gəlir. Qaydalar eyni dərəcədə spesifik olduqda, ən az məhdudlaşdırıcı olan tətbiq olunur.

Joker simvollar

• * istənilən simvollar ardıcıllığına uyğun gəlir.
• $ URL-in sonunu lövbərləyir.
• Disallow: /*.pdf$ PDF-ləri bloklayır, lakin /file.pdf?download=1.

User-agent qrupları

Krouler onu adlandıran ən spesifik qrupa tabe olur və digərlərinin hamısına məhəl qoymur. Altındakı qayda User-agent: * altındakı qaydalarla birləşdirilmir User-agent: Googlebot, əgər Googlebot qrupu mövcuddursa, joker qrup Googlebot üçün tamamilə nəzərə alınmır.

Limitlər

Google 500 KiB-a qədər oxuyur; bundan sonrakı hər şey nəzərə alınmır. Şərhlər bununla başlayır #. 4xx cavabı “məhdudiyyət yoxdur” kimi qəbul edilir; davamlı 5xx “hər şeyi qadağan et” kimi qəbul edilir.

Alien Road tövsiyə edir: tətbiq etməzdən əvvəl Search Console robots.txt tester-də hər bir dəyişikliyi yoxlayın. User-agent qrup qaydası insanları daim tələyə salır, Googlebot-a xas bir sətir əlavə etmək səssizcə sahib olduğunuz bütün joker qaydaları deaktiv edir və fayl hələ də insan oxucusu üçün düzgün görünür.