Çərşənbə axşamı, 3 iyun 2008-ci il
Veb nəşriyyatçıları tez-tez bizdən internetdə görünürlüklərini necə maksimum dərəcədə artıra biləcəklərini soruşurlar. Bunun çox hissəsi axtarış sisteminin optimallaşdırılması ilə əlaqədardır — nəşriyyatçının məzmununun bütün axtarış sistemlərində görünməsini təmin etmək.
Bununla belə, bəzi hallarda nəşriyyatçıların axtarış sistemlərinə əlavə məlumat çatdırması lazımdır — məsələn, istəmədikləri faktı kimi müəyyən məzmunun axtarış nəticələrində görünməsini.
Və bunun üçün onlarRobotların Xaric Edilməsi Protokolu (REP) adlanan bir şeydən istifadə edirlər ki, bu da nəşriyyatçılara axtarış sistemlərinin onların saytına necə daxil olduğunu idarə etməyə imkan verir: istər məzmunlarının görünürlüğünü sayt üzrə (robots.txt vasitəsilə) idarə etmək, istərsə də ayrı-ayrı səhifələr üçün daha incə səviyyədə ( meta
teqləri vasitəsilə).
90-cı illərin əvvəllərində təqdim olunduğu gündən bəri REP veb nəşriyyatçıların saytlarının hansı hissələrini ictimai, hansı hissələrini isə məxfi saxlamaq istədiklərini müəyyən etdikləri de-fakto standarta çevrilib. Bu gün milyonlarla nəşriyyatçı axtarış sistemləri ilə əlaqə saxlamaq üçün asan və səmərəli üsul kimi REP-dən istifadə edir. Onun gücü internetlə paralel şəkildə inkişaf etmək elastikliyində, əsas axtarış sistemlərində və bütün əsas robotlarda universal tətbiqində və nə qədər böyük və ya kiçik olmasından asılı olmayaraq istənilən nəşriyyatçı üçün işləmə tərzindədir.
REP demək olsun ki, bütün axtarış sistemləri tərəfindən izlənilsə də, biz müxtəlif teqləri necə şərh etdiyimizi təfərrüatlandırmaq üçün heç vaxt bir araya gəlməmişik. Son bir neçə il ərzində biz Microsoft və Yahoo! ilə birlikdə
Sayt xəritələri
kimi standartları irəli sürək və veb-ustalar üçün əlavə alətlər təqdim edək. İlkin elandan bəri biz cəmiyyətdən eşitdiklərimiz əsasında əlavə təkmilləşdirmələr təqdim etmişik və etməyə davam edəcəyik.
Bu gün veb-ustaların həyatını sadələşdirmək ruhunda biz REP-i necə tətbiq etdiyimizlə bağlı ətraflı sənədlər dərc edirik. Bu, veb-ustalar üçün ümumi tətbiq təmin edəcək və hər hansı nəşriyyatçıya REP qaydalarının üç əsas axtarış təminatçısı tərəfindən necə idarə olunacağını bilməyi asanlaşdıracaq — REP-i internetdəki daha çox nəşriyyatçı üçün daha intuitiv və dostluq edəcək.
Beləliklə, heç bir gecikmə olmadan…
Ümumi REP qaydaları
Aşağıdakı siyahı Google, Microsoft və Yahoo! tərəfindən hazırda tətbiq olunan bütün əsas REP xüsusiyyətləridir. Hər bir xüsusiyyətlə onun nə etdiyini və onu necə çatdırmalı olduğunuzu görəcəksiniz.
Bu qaydaların hər biri bütün skanerlər üçün və ya hər hansı bir skaner özünü identifikasiya etdiyi xüsusi istifadəçi agentlərini hədəf alaraq müəyyən skanerlər üçün tətbiq oluna bilər. İstifadəçi agenti tərəfindən identifikasiyadan əlavə, skanerlərimizin hər biri skanerin şəxsiyyətini yoxlamağa imkan vermək üçün Əks DNS əsaslı autentifikasiyanı dəstəkləyir.
Skanerlərə saytda URL-ləri tapmağa kömək etmək üçün lentlərin mövcud olduğu digər yerlərə işarə edin HTML meta
| qaydaları | Qayda | Təsir |
İstifadə halları noindex meta | teqi | Skanerə verilmiş səhifəni indeksləşdirməməyi bildirir |
Səhifəni indeksləşdirməyin. Bu, skan edilən səhifələrin indeksdən kənarda saxlanılmasına imkan verir. nofollow meta | teqi | Skanerə verilmiş səhifədəki digər məzmuna keçidi izləməməyi bildirirİctimai yazıla bilən sahələrin keçid krediti axtaran spamçılar tərəfindən sui-istifadə edilməsinin qarşısını alın. İstifadə edərək nofollow |
robotu bu səhifədən gələn bütün çıxış keçidlərini nəzərə almadığınız barədə məlumatlandırırsınız. nosnippet meta | teqi | Skanerə verilmiş səhifə üçün axtarış nəticələrində fraqmentləri göstərməməyi bildirir |
Axtarış Nəticələrində səhifə üçün heç bir fraqment təqdim etməyin noarchive meta | teqi | Axtarış sisteminə verilmiş səhifə üçün “keşlənmiş” keçid göstərməməyi bildirir |
Axtarış Sistemi keşindən səhifənin surətini istifadəçilərə əlçatmaz edin noodp meta | teqi | Skanerə verilmiş səhifə üçün Açıq Kataloq Layihəsindən ad və fraqment istifadə etməməyi bildirir |
Bu səhifə üçün ODP (Açıq Kataloq Layihəsi) adından və fraqmentindən istifadə etməyin
Bu qaydalar bütün növ məzmunlar üçün tətbiq olunur. Onlar səhifənin HTML-ində və ya HTML olmayan məzmun üçün HTTP başlıq yerləşdirilə bilər, məsələn, PDF, video və s. istifadə edərəkX-Robots-Tag
,. Bunun haqqında ətraflı buradan oxuya bilərsiniz: X-Robots-Tag
Yazı və ya in
robotların istifadəsi haqqında
seriya yazılarımız meta teqləri.
Digər REP qaydaları
Yuxarıda sadalanan qaydalar Microsoft, Google və Yahoo! tərəfindən istifadə olunur, lakin digər bütün axtarış sistemləri tərəfindən tətbiq olunmaya bilər. Bundan əlavə, aşağıdakı qaydalar Google tərəfindən dəstəklənir, lakin yuxarıdakılar kimi hər üçü tərəfindən dəstəklənmir:
unavailable_after meta teqi – Axtarış botuna səhifənin nə vaxt
“vaxtının bitəcəyini”,yəni hansı tarixdən sonra axtarış nəticələrində göründürməməli olduğunu bildirir.
noimageindex meta teqi – Axtarış botuna
verilmiş səhifənin şəkillərini
axtarış nəticələrində indeksləşdirməməyi bildirir.
notranslate meta teqi – Axtarış botuna
səhifədəki məzmunu fərqli dillərə tərcümə etməməyi
axtarış nəticələri üçün bildirir.
İrəliyə doğru, REP-in yeni istifadə halları yarandıqca veb-ustaların bunlardan istifadəsini asanlaşdırmağa davam etmək üçün birlikdə çalışacağımızı planlaşdırırıq. Buna görə də daha çoxu üçün bizi izləyin!
Daha ətraflı öyrənin
Siz robots.txt haqqında daha çox məlumatı
sənədlərimizdə və
Google Veb-usta yardım mərkəzindətapa bilərsiniz, hansı ki, aşağıdakılar daxil olmaqla bir çox faydalı məlumat ehtiva edir:
- robots.txt faylını necə yaratmalı
- Google-un istifadə etdiyi hər bir user-agent-in təsviri
- Şablon uyğunlaşdırmasından (pattern matching) necə istifadə etməli
- robots.txt faylınızı nə qədər tez-tez yenidən tarayırıq
Biz həmçinin veb-usta bloqumuzda robots.txt haqqında faydalı ola biləcək bir neçə yazılar dərc etmişik, məsələn:
Həmçinin əsas axtarış sistemləri tərəfindən istifadə olunan
botların faydalı siyahısı
mövcuddur.
Həmkarılarımızın nə dediyini görmək üçün həmçinin
Yahoo! və
Microsoft.
Bunu necə tətbiq edirik
Google announcements age. We keep this post here for the record, and we note for clients whether the behaviour it describes still applies today or has since been superseded.
Əlaqəli xidmətlər