robots.txt faylını necə istifadə etməli

Şənbə, 1 Mart 2008

A robots.txt
vebdə gəzişən Axtarış sistemi robotlarına (“botlar” kimi də tanınır) məhdudiyyətlər qoyur. Bu botlar avtomatlaşdırılıb və saytın səhifələrinə daxil olmazdan əvvəl onların müəyyən səhifələrə daxil olmasının qarşısını alan robots.txt faylının mövcud olub-olmadığını yoxlayırlar. Əgər məzmununuzun bir hissəsinin axtarış sistemləri tərəfindən indekslənməsindən qorumaq istəyirsinizsə, robots bunun üçün sadə bir vasitədir. Bu dəfə biz ondan necə istifadə olunacağını müzakirə etmək istəyirik.

Robots.txt yerləşdirmək

Robots.txt faylı bir və ya bir neçə qeydi olan mətn faylıdır. Robots.txt faylı domen kökündə olmalı və adı dəqiq robots.txt olmalıdır. Alt qovluqda yerləşən robots.txt faylı etibarlı deyil, çünki botlar yalnız domen kökündə bu faylı yoxlayırlar.

Məsələn,
https://www.example.com/robots.txt etibarlı ünvandır. Amma,
https://www.example.com/mysite/robots.txt deyil.

Robots.txt nümunəsi:

robots.txt faylından istifadə edərək bütün veb saytınızı bloklayın və ya silin

Saytınızı axtarış sistemlərindən silmək və bütün robotların gələcəkdə onu gəzməsinin qarşısını almaq üçün server kökünüze aşağıdakı robots.txt faylını qoyun:

Saytınızı yalnız Google-dan silmək və gələcəkdə yalnız Googlebot-un saytınızı gəzməsinin qarşısını almaq üçün server kökünüze aşağıdakı robots.txt faylını qoyun:

Hər bir portun öz robots.txt faylı olmalıdır. Xüsusilə, həm http, həm də https vasitəsilə məzmun təqdim edirsinizsə, bu protokolların hər biri üçün ayrıca robots.txt faylına ehtiyacınız olacaq. Məsələn, Googlebot-a bütün http səhifələrini indeksləşdirməyə, lakin heç bir https səhifəsinə icazə verməmək üçün aşağıdakı robots.txt fayllarından istifadə edəcəksiniz.

Http protokolunuz üçün (https://example.com/robots.txt):

Https protokolu üçün (https://yourserver.com/robots.txt):

Bütün robotlara tam giriş icazəsi verin

(alternativ həll: Sadəcə boş “/robots.txt” faylı yaradın və ya ümumiyyətlə istifadə etməyin.)

robots.txt faylından istifadə edərək səhifələri bloklayın və ya silin

Saytınızdakı səhifələri gəzməkdən Googlebot-u bloklamaq üçün robots.txt faylından istifadə edə bilərsiniz.

Məsələn, əgər siz əllə robots.txt faylı yaradırsınızsa, Googlebot-u müəyyən qovluqdakı bütün səhifələri (məsələn, şəxsi) gəzməkdən bloklamaq üçün aşağıdakı robots.txt girişindən istifadə edərdiniz:

Googlebot-un müəyyən fayl növünün (məsələn, .gif) bütün fayllarını gəzməsinin qarşısını almaq üçün aşağıdakı robots.txt girişindən istifadə edərdiniz:

Googlebot-un daxil olan istənilən URL-i gəzməsinin qarşısını almaq üçün ? (daha dəqiq desək, domen adınızla başlayan, istənilən sətir, sual işarəsi və ardınca istənilən sətir gələn istənilən URL):

Biz robots.txt tərəfindən bloklanmış səhifələrin məzmununu gəzməyəcək və ya indeksləməyəcəyik, lakin internetdəki digər səhifələrdə tapsaq, URL-ləri yenə də gəzə və indeksləyə bilərik. Nəticədə, səhifənin URL-i və ya sayta keçidlərdəki mətn kimi digər ictimaiyyətə açıq məlumatlar Google axtarış nəticələrində görünə bilər. Bununla belə, səhifələrinizdən heç bir məzmun gəzməyəcək, indekslənməyəcək və ya göstərilməyəcək.

Vebmaster alətinin bir hissəsi kimi Google təmin edir
robots.txt təhlil aləti. Alət robots.txt faylını Googlebot ilə eyni şəkildə oxuyur və sizə Google istifadəçi agentləri üçün nəticələr verir. Onu istifadə etməyi şiddەتlə tövsiyə edirik. Robots.txt yaratmazdan əvvəl insanlarla nə qədər məlumat paylaşmaq və ya gizli saxlamaq istədiyinizi düşünməlisiniz. Unutmayın ki, axtarış sistemi məzmununuzun ictimaiyyət üçün daha əlçatan olması üçün yaxşı üsuldur. Robots.txt-dən düzgün istifadə etməklə insanlar axtarış sistemi vasitəsilə veb saytınızı ziyarət etməkdən məmnun olacaqlar, lakin bu arada şəxsi məlumatlarınızın açığa çıxmasının qarşısını ala bilərsiniz.

Chao Ma, In Hyuk Seok tərəfindən