Google faylı gözləniləndən fərqli olan xüsusi qaydalarla təhlil edir. Bu qaydaları səhv tətbiq etmək adətən heç bir xəbərdarlıq olmadan uğursuzluqla nəticələnir.
Prioritet
Yol uzunluğu ilə ölçüldükdə, ən spesifik qayda üstünlük təşkil edir. Əgər Disallow: /folder/ və Allow: /folder/page hər ikisi uyğun gəlirsə, daha uzun olan Allow qaydası keçərli olur. Qaydalar eyni dərəcədə spesifik olduqda, ən az məhdudlaşdırıcı olan tətbiq edilir.
Wildcard simvolları
*istənilən simvollar ardıcıllığına uyğun gəlir.$URL-in sonunu sabitləyir.Disallow: /*.pdf$PDF-ləri bloklayır, lakin/file.pdf?download=1ünvanını bloklamır.
User-agent qrupları
Krouler öz adını ehtiva edən ən spesifik qrupa tabe olur və digərlərini nəzərə almır. User-agent: * altındakı qayda User-agent: Googlebot altındakı qaydalarla birləşdirilmir; əgər Googlebot qrupu mövcuddursa, wildcard qrupu Googlebot üçün tamamilə nəzərə alınmır.
Limitlər
Google 500 KiB-a qədər məlumatı oxuyur; bundan kənarda qalan hər şey nəzərə alınmır. Şərhlər # simvolu ilə başlayır. 4xx cavabı “məhdudiyyət yoxdur” kimi, davamlı 5xx cavabı isə “hər şeyi blokla” kimi qəbul edilir.
Alien Road tövsiyə edir: hər hansı dəyişikliyi tətbiq etməzdən əvvəl Search Console-un robots.txt tester alətində yoxlayın. User-agent qrup qaydası tez-tez səhvlərə yol açır; Googlebot-a xas bir sətir əlavə etmək, əvvəlki bütün wildcard qaydalarını səssizcə deaktiv edir və fayl insan gözü üçün hələ də düzgün görünə bilər.
Bunu necə tətbiq edirik
The parsing rules here settle most robots.txt arguments. We keep this open during technical reviews because teams routinely assume a directive works in a way the specification does not support.
Əlaqəli xidmətlər