robots.txt faylından istifadə

24 fevral 2006-cı il

Bir neçə həftə əvvəl biz
robots.txt təqdim etdik
analiz aləti. Bu alət sizə aşağıdakılar haqqında məlumat verir
Googlebot
robots.txt faylınızı təfsir edir. Daha ətraflı burada oxuya bilərsiniz
robots.txt Robotların Xaric Edilməsi Standartı, lakin biz düşündük ki, burada bəzi ümumi sualları cavablandıraq.

robots.txt faylı nədir?

robots.txt faylı internetdə səhifələri gəzən axtarış sistemi botlarına ( “botlar” kimi tanınır) məhdudiyyətlər təmin edir. Bu botlar avtomatlaşdırılıb və onlar saytın səhifələrinə daxil olmazdan əvvəl müəyyən səhifələrə daxil olmağın qarşısını alan robots.txt faylının mövcud olub-olmadığını yoxlayırlar.

Saytıma robots.txt faylı lazımdır?

Yalnız əgər saytınız axtarış sistemlərinin indeksləşdirməsini istəmədiyiniz məzmunu ehtiva edirsə. Əgər axtarış sistemlərinin saytınızdakı hər şeyi indeksləşdirməsini istəyirsinizsə, robots.txt faylına ehtiyacınız yoxdur (hətta boş olana belə).

robots.txt faylı harada yerləşməlidir?

robots.txt faylı mütləq domeninin kökündə yerləşməlidir. Alt qovluqda yerləşən robots.txt faylı etibarlı deyil, çünki botlar yalnız domeninin kökündə bu faylı yoxlayır. Məsələn, https://www.example.com/robots.txt etibarlı yerdir. Amma,
https://www.example.com/mysite/robots.txt deyil. Əgər domeninin kökünə girişiniz yoxdursa, aşağıdakı vasitəsilə girişə məhdudiyyət qoya bilərsiniz
Robots META teqi.

Necə robots.txt faylı yarada bilərəm?

Bu faylı istənilən mətn redaktorunda yarada bilərsiniz. O olmalıdır
ASCII şifrəli mətn faylı, HTML faylı deyil. Fayl adı kiçik hərflərlə olmalıdır.

robots.txt faylımın sintaksisi necə olmalıdır?

Ən sadə robots.txt faylı iki qaydadan istifadə edir:

• User-Agent: aşağıdakı qaydanın tətbiq olunduğu bot
• Disallow: bloklamaq istədiyiniz səhifələr

Bu iki sətir faylda tək giriş hesab olunur. İstədiyiniz qədər giriş daxil edə bilərsiniz. Bir girişdə bir neçə Disallow sətri daxil edə bilərsiniz.

User-Agent

İstifadəçi agenti spesifik axtarış sistemi botudur.
Veb Robotlar Verilənlər Bazası
bir çox ümumi botları sadalayır. Girişi müəyyən bota tətbiq etmək üçün təyin edə bilərsiniz (adını siyahıya salmaqla) və ya onu bütün botlara tətbiq etmək üçün təyin edə bilərsiniz (ulduz işarəsini siyahıya salmaqla). Bütün botlara tətbiq olunan giriş belə görünür:

Disallow

The Disallow sətri bloklamaq istədiyiniz səhifələri sadalayır. Xüsusi URL və ya şablon sadalaya bilərsiniz. Giriş əyilmiş xətlə (/) başlamalıdır.

• Bütün saytı bloklamaq üçün, əyilmiş xətdən istifadə edin: Disallow: /
• Qovluğu bloklamaq üçün, qovluq adından sonra əyilmiş xətt qoyun:
  Disallow: /private_directory/
• Səhifəni bloklamaq üçün, səhifəni sadalay:
  Disallow: /private_file.html

URL-lər hərf həssasdır. Məsələn, Disallow: /private_file.html bloklayardı
https://www.example.com/private_file.html, lakin icazə verərdi
https://www.example.com/Private_File.html.

Googlebot-u necə bloklaya bilərəm?

Google bir neçə istifadəçi agentindən istifadə edir. Girişin User-Agent sətrində bot adını daxil etməklə onların hər hansı birinə girişi bloklaya bilərsiniz.

• Googlebot: səhifələri bizim
  veb indeksindən.
• Googlebot-Mobile: səhifələri bizim
  mobil indeks üçün.
• Googlebot-Image: səhifələri bizim
  şəkil indeksi üçün.
• Mediapartners-Google: səhifələri müəyyən etmək üçün
  AdSense məzmunu
  (yalnız saytınızda AdSense reklamları göstərdiyiniz halda istifadə olunur).

Səhifələrə icazə verə bilərəmmi?

Bəli, Googlebot robots.txt standartına edilən uzantını tanıyır Allow. Bu uzantı digər axtarış sistemi botlarının hamısı tərəfindən tanınmaya bilər, ona görə də öyrənmək üçün maraqlandığınız digər axtarış sistemləri ilə yoxlayın. Allow sətri tam olaraq işləyir
Disallow sətri kimi. Sadəcə icazə vermək istədiyiniz qovluğu və ya səhifəni sadalayın.

Siz istifadə etmək istəyə bilərsiniz Disallow və Allow birlikdə. Məsələn, bir alt qovluqdakı bütün səhifələrə girişi bloklayıb yalnız birinə icazə vermək üçün aşağıdakı girişlərdən istifadə edə bilərsiniz:

Bu girişlər folder1 qovluğundakı bütün səhifələri bloklayacaq, yalnız
myfile.html.

Saytımın bəzi səhifələrinin indekslənməsini istəmirəm, lakin həmin səhifələrdə AdSense reklamlarını göstərmək istəyirəm. Bunu edə bilərəmmi?

Bəli, edə bilərsiniz Disallow xaricindəki bütün botları Mediapartners-Google həmin səhifələrdən. Bu, səhifələrin indekslənməsinin qarşısını alır, lakin
Googlebot-MediaPartners botuna reklamları müəyyən etmək üçün səhifələri təhlil etməyə imkan verir.
Googlebot-MediaPartners botu səhifələri digər Google istifadəçi agentləri ilə paylaşmır. Məsələn, aşağıdakı girişlərdən istifadə edə bilərsiniz:

Bloklamaq istədiyim hər bir faylı siyahıya salmaq istəmirəm. Nümunə uyğunlaşdırmasından (pattern matching) istifadə edə bilərəmmi?

Bəli, Googlebot bəzi nümunə uyğunlaşdırmalarını şərh edir. Bu, standartın genişləndirilməsidir, ona görə də bütün botlar buna əməl etməyə bilər.

Simvollar ardıcıllığının uyğunlaşdırılması

Simvollar ardıcıllığını uyğunlaşdırmaq üçün ulduz işarəsindən (*) istifadə edə bilərsiniz. Məsələn, privateilə başlayan bütün alt qovluqlara girişi bloklamaq üçün aşağıdakı girişdən istifadə edə bilərsiniz:

Fayl bloklarımın və icazələrimin istədiyim kimi işlədiyinə necə əmin ola bilərəm?

Siz bizim
robots.txt təhlil alətimizdən istifadə edə bilərsiniz:

• robots.txt faylınızın müəyyən URL-ləri bloklayıb-bloklamadığını yoxlayın.
• Googlebot-un robots.txt faylınızdakı hər hansı sətirləri təhlil edərkən çətinlik çəkib-çəkmədiyini görün.
• robots.txt faylınızdakı dəyişiklikləri sınaqdan keçirin.

Həmçinin, hazırda robots.txt faylından istifadə etmirsinizsə, birini yarada və saytınıza yükləməzdən əvvəl alətlə sınaqdan keçirə bilərsiniz.

robots.txt faylımı dəyişdirsəm və ya yenisini yükləsəm, bu nə vaxt qüvvəyə minəcək?

Biz adətən robots.txt fayllarını gündə bir dəfə yükləyirik. Faylınızın son yüklənmə vaxtını Sitemaps hesabınızdakı robots.txt tabına daxil olaraq və
Son yüklənmə tarix və saatını yoxlayaraq görə bilərsiniz.

Paylaşıldı: Vanessa Fox