Robots İstisna Protokolü Spesifikasiyasının rəsmiləşdirilməsi

1 iyul 2019-cu il, Bazar ertəsi

25 ildir ki, Robots İstisna Protokolu (REP) vebin Ən əsas və kritik komponentlərindən biri olub. O, veb-sayt sahiblərinə avtomatlaşdırılmış müştəriləri, məsələn
veb skanerləri, saytlarına girişdən
qismən və ya tamamilə məhdudlaşdırmağa imkan verir.

1994-cü ildə Martijn Koster
(özü də veb-ustadır) skanerlər onun saytını həddən artıq yüklədikdən sonra ilkin standartı yaratdı. Digər veb-ustaların əlavə rəyləri ilə REP dünyaya gəldi və veb-sayt sahiblərinə server resurslarını daha asan idarə etməyə kömək etmək üçün axtarış sistemləri tərəfindən qəbul edildi.

Lakin REP heç vaxt rəsmi halına gətirilmədi
İnternet standartı, bu o deməkdir ki,
tərtibatçılar illər ərzində protokolu bir qədər fərqli şərh ediblər. Və yarandığı gündən bəri REP günümüzün xüsusi hallarını əhatə edəcək şəkildə yenilənməyib. Bu, veb-sayt sahibləri üçün çətin problemdir, çünki qeyri-müəyyən de-fakto standart qaydaları düzgün yazmağı çətinləşdirirdi.

Biz veb-sayt sahiblərinə və tərtibatçılara skanerlərin necə idarə olunmasından narahat olmaq əvəzinə internetdə inanılmaz təcrübələr yaratmağa kömək etmək istəyirdik. Protokolun orijinal müəllifi, veb-ustalar və digər axtarış sistemləri ilə birlikdə biz REP-in müasir vebdə necə istifadə olunduğunu sənədləşdirdik və IETF-ə təqdim etdik.

Təklif olunan REP layihəsi həm Googlebot, həm də digər əsas skanerlər, eləcə də REP-ə güvənən təqribən yarım milyard veb-sayt tərəfindən istifadə edilən robots.txt qaydalarına güvənməyin 20 ildən artıq real dünya təcrübəsini əks etdirir. Bu incə idarəetmələr naşirə saytlarında nəyin skan edilməsini və potensial olaraq maraqlanan istifadəçilərə göstərilməsini qərara almaq səlahiyyəti verir. O, 1994-cü ildə yaradılmış qaydaları dəyişdirmir, əksinə robots.txt-in təhlili və uyğunlaşdırılması üçün əsasən bütün müəyyən edilməmiş ssenariləri müəyyən edir və onu müasir veb üçün genişləndirir. Xüsusilə:

1. Hər hansı
   URI əsaslı transfer protokolu
   robots.txt istifadə edə bilər. Məsələn, o, artıq HTTP ilə məhdudlaşmır və həmçinin FTP və ya
   CoAP
   üçün də istifadə oluna bilər.
2. Tərtibatçılar robots.txt-in ən azı ilk 500
   kibibaytını təhlil etməlidirlər.
   Maksimum fayl ölçüsünün müəyyən edilməsi əlaqələrin həddən artıq uzun müddət açıq qalmasını təmin edir və serverlərə lazımsız yükü azaldır.
3. 24 saatlıq yeni maksimum keşləmə müddəti və ya mövcud olduqda keş direktivinin dəyəri veb-sayt sahiblərinə istədikləri zaman robots.txt-i yeniləmək çevikliyi verir və skanerlər robots.txt sorğuları ilə veb-saytları həddən artıq yükləmir. Məsələn, HTTP halında, keşləmə müddətini təyin etmək üçün Cache-Control başlıqlarından istifadə edilə bilər.
4. Spesifikasiya indi nəzərdə tutur ki, əvvəllər əlçatan olan robots.txt faylı server nasazlıqları səbəbindən əlçatmaz olduqda, məlum qadağan olunmuş səhifələr kifayət qədər uzun müddət ərzində skan edilmir.

Bundan əlavə, biz
genişləndirilmiş Backus-Naur formasını
internet layihəsində yenilədik ki, bu da tərtibatçılar üçün sətirləri təhlil etmək üçün çox vacib olan robots.txt sintaksisini daha yaxşı müəyyən etsin.

RFC Request for Comments deməkdir və biz bunu nəzərdə tuturuq: internetin əsas tikinti bloklarına önəm verən tərtibatçılardan rəy almaq üçün layihəni IETF-ə yüklədik. Veb yaradıcılarına Googlebot-da nə qədər məlumatı əlçatan etmək istədiklərini bildirmək üçün lazım olan idarəetmə vasitələrini vermək və bununla da Axtarışda görünmək hüququ qazanmaq üçün çalışarkən, bunu düzgün etdiyimizə əmin olmalıyıq.

Bizə şərh yazmaq, suallar vermək və ya sadəcə salam demək istəyirsinizsə, bizi buradan tapa bilərsiniz
Twitter və bizim
Veb-usta Cəmiyyətimizdə, oflayn və onlayn.

Tərəfindən paylaşıldı Henner Zeller,
Lizzi Sassman, və
Gary Illyes