Robots Təkmilləşdirməsi: səhvi səviyyəsində qranulluq

Cümə, 14 mart 2025-ci il

İlə robots.txt faylı, sayt sahibləri veb-saytın hansı hissələrinin skanerlər üçün əlçatan olduğunu idarə etmək üçün sadə üsula malikdirlər. Axtarış sistemlərinin və veb skanerlərinin səhifələrindən necə istifadə edə biləcəyini daha yaxşı ifadə etmək üçün veb standartlarının hazırlanmasında iştirak edən icma
robots ilə çıxdı meta 1996-cı ildə teqlər, HTML üçün meta teqlərin təklif edilməsindən cəmi bir neçə ay sonra (və maraqlıdır ki, həm də Google təsis edilməmişdən əvvəl). Daha sonra, X-Robots-Tag HTTP cavab başlığı
əlavə edildi. Bu təlimatlar URL ilə birlikdə göndərilir, ona görə də skanerlər onlara yalnız robots.txt faylı vasitəsilə URL-in skan edilməsi qadağan olunmadıqda nəzərə ala bilərlər. Onlar birlikdə Robots İstisna Protokolunu (REP) təşkil edirlər.
Robots-a nəzər salaq meta

teqlər Meta teqlər (və ya elementlər) maşın tərəfindən oxuna bilən metadatanı daxil etmək üsuludur. Robots

meta teqlər meta teqlərin “növlərindən” biridir və axtarış sistemi skanerləri də daxil olmaqla skanerlərə şamil edilir. Onlar siqnal verirlər: Məzmun indeksləşdirmədən bloklanıbmı? Səhifədəki bağlantılar skan etmək üçün izlənilməməlidirmi? Bu məlumatı birbaşa səhifədə robots meta teqləri ilə vermək asandır. İstənilən URL üçün Robots İstisna Protokolu HTML olmayan məzmuna da eyni səviyyədə nəzarət vermək üçün ” X-Robots-Tag ” HTTP cavab başlıqları yaradıldı. Bu HTTP başlıqları həm də REP-in bir hissəsi hesab olunur. Başlıq robots meta teqi ilə eyni dəyərləri dəstəkləyir və onlayn təqdim olunan istənilən məzmuna əlavə edilə bilər. HTML-dən başqa, Google bunu PDF-lər, sənəd faylları və hətta şəkillər kimi məzmunlar üçün dəstəkləyir. Bu fayl formatlarının əksəriyyətində meta teqlərə ekvivalent mexanizm yoxdur, ona görə də HTTP cavab başlığı faydalıdır.

Robots meta teqləri və başlıqları ilə başlanğıc

metateqlər və başlıqlarSintaksis sadə və genişləndirilə biləndir. Qaydalar adətən ya veb tərtibatçısı tərəfindən, ya da sayt sahiblərinin üstünlüklərini seçmək üçün qutuları və ya açılan menyuları ola biləcəyi Məzmun İdarəetmə Sistemi (CMS) vasitəsilə həyata keçirilir. Bu nəzarətlər Googlebot kimi müəyyən skaneri hədəfləyə bilər və ya müəyyən adı buraxmaqla bu dəyərləri dəstəkləyən bütün skanerlərə müraciət edə bilər.
Məsələn, aşağıdakı qaydalar bütün skanerlərə əlaqəli səhifədən indeksləşdirmə üçün istifadə etməməyi tapşırır:
HTML meta teqi formasında, veb səhifədə: meta Mövcud meta teqlərə və ya cavab başlıqlarına baxmaq bir qədər daha mürəkkəbdir və səhifə məzmununun və ya başlıqların birbaşa yoxlanılmasını tələb edir. Brauzerinizdə səhifə mənbəyinə baxmaqla və ya səhifəni yoxlamaq üçün Chrome-un tərtibatçı alətlərindən istifadə etməklə istənilən səhifədə HTML meta teqlərinə baxa bilərsiniz HTTP cavab başlığı formasında Siz fərdi URL-lər üçün HTTP cavab başlıqlarını Chrome-un tərtibatçı alətlərində, şəbəkə panelində yoxlaya bilərsiniz

Edə biləcəyiniz digər nümunələr: Bu səhifə və ya sənəd üçün fraqment göstərməyin. HTTP başlığında:

və ya HTML-də:

Bu səhifəni ExampleBot-News-da indeksləşdirməyin, digərləri üçün üstünlük təyin etmədən.

• Bu idarəetmələr bir skaneri açıq şəkildə müəyyən edir. və ya ExampleBot

  fraqment göstərməməlidir və əlavə olaraq, bütün skanerlər bu səhifədəki linkləri izləməməlidir. Nəzərə alın ki, ən məhdudlaşdırıcı, etibarlı direktivlər tətbiq olunur, ona görə də ExampleBot üçün direktiv "nosnippet, nofollow" kimi birləşdiriləcəkdir. və ya
  REP mexanizminin seçilməsi Hansını istifadə edəcəyinizi necə seçirsiniz? Əsasən robots.txt və səhifə səviyyəsində nəzarətlər oxşardır, lakin tamamilə bir-birini əvəz etmir. Bəzən yalnız mexanizmlərdən biri ilə mümkün olan xüsusi bir hərəkət olur, məsələn, skan etmə hərəkətini dayandırmaq istənildikdə (məsələn, sonsuz axtarış nəticələri səhifələri üçün, robots.txt ilə mümkündür), əgər sizə FTP serveri üçün nəzarət lazımdırsa (robots.txt ilə mümkündür) və ya səhifə üçün fraqmentin göstərilməməsi istənildikdə (yalnız səhifə səviyyəsində elementlərlə mümkündür). Skan etməyi bloklamaqla indeksləşdirməni bloklamaq arasında fərq qoymaq lazım deyilsə, bir yanaşma daha geniş nəzarət üçün robots.txt (veb-saytın böyük hissələrini bloklamaq üçün) və fərdi səhifələri bloklamaq üçün səhifə səviyyəsində nəzarətlərdən istifadə etməkdir.
  Robots İstisna Protokolu – güclü, canlı standart.

• Bütün bu nəzarətlər təbiətcə genişləndirilə biləndir. İllər keçdikcə sayt sahibləri, skaner operatorları və axtarış sistemləri onları inkişaf etdirmək üçün birlikdə çalışıblar. Tarixən o, noindex və nofollow daxil olmaqla bir neçə dəyərlə başladı, daha sonra nosnippet, noarchive kimi digər dəyərlər də əlavə olundu. və:

  de
  es.

fr

az

az

az

az az az azaz
az, azaz max-snippet: qəbul edildi. Bəzən isə DMOZ / Open Directory Project kataloqu bağlanmamışdan əvvəl onun hissələrindən istifadə edən noodp,
DMOZ / Open Directory Project
kimi qiymətlər köhnəlir, necə ki
dəyər bolluğu sayt sahibləri üçün Google tərəfindən və digər böyük skaner operatorları tərəfindən oxşar miqdarda dəstəklənir.

REP çətiri altında sayt sahibləri nəyin skan edilməsinə və skan edilən məlumatların axtarış sistemlərində necə istifadə olunacağına nəzarət edə bilərlər. Onlar bunu vebsaytların daha böyük hissələri üçün ümumi səviyyədə, yaxud fərdi səhifələr üçün, hətta səhifələrdəki şəkillər üçün çox detallı səviyyədə edə bilərlər. Bu idarəetmələr hamıya məlumdur, bütün ümumi məzmun idarəetmə sistemlərində mövcuddur, kommersiya operatorları tərəfindən geniş şəkildə dəstəklənir və bu gün internetdə milyardlarla hostda istifadə olunur.

Paylaşdı: John Mueller, Axtarış əlaqələri qrupu

Robots Refresher seriyasının qalan hissəsinə də baxın: