Saytın və ya səhifələrin indekslənməsini necə qadağan edə bilərəm?

Üç alət məzmunu indekslənmədən gizlədir və onlar müxtəlif səviyyələrdə fəaliyyət göstərir: bütün sayt və ya bölmə, ayrı bir səhifə və ya səhifə mətninin bir hissəsi.

Sayt, bölmə və ya səhifə

• Disallow -də robots.txt.
• Bu robots meta teqi ilə noindex və ya none.
• Avtorizasiya — və Yandex xüsusilə əsas səhifəni gizlətmək üçün bunu tövsiyə edir, xatırlamağa dəyər bir səbəblə: bloklanmış əsas səhifə robots.txt digər saytlar ona keçid verərsə yenə də nəticələrdə görüne bilər. Bloklama gizlətmək demək deyil.

Həqiqətən məhdudlaşdırılmış hər hansı bir şey üçün avtorizasiyanı server cavabı ilə birləşdirin: 404, 403 və ya 410 icazəsiz sorğular üçün, beləliklə səhifə təkcə göstərməkdən imtina etmir, həm də özünü əlçatmaz kimi bildirir.

Səhifə mətninin bir hissəsi

Bu noindex elementi — meta teqdən fərqli olaraq Yandex uzantısı:

<noindex>indekslənməməli olan mətn</noindex>

Yanlış istifadə edildikdə onu təhlükəli edən iki qayda:

• Bağlayıcı teq yoxdursa, səhifənin qalan bütün məzmunu gizli kimi qəbul edilir. Bir bağlanmamış teq bütün səhifənin mətnini indeksdən çıxara bilər.
• İç-içə teqlər ilk bağlayıcı teqdən sonra nəzərə alınmır, ona görə də iç-içə yerləşdirmə yazıldığı kimi işləmir.

Etibarlı işarələmə üçün şərh forması qəbul edilir: <!--noindex-->…<!--/noindex-->.

Onlar arasında seçim etmək

Kimsə URL-i birbaşa daxil etsə nə baş verməli olduğunu soruşun. Cavab “onlar onu görməlidirlər, lakin reytinqdə olmamalıdır” olarsa — noindex. Əgər bu “robot burada vaxt itirməməlidir” olarsa — Disallow. Əgər bu “heç kim bunu görməməlidir” olarsa — müvafiq status kodu ilə avtorizasiya. Üçü bir-birini əvəz etmir və ən çox yayılmış səhv üçüncünün əvəzinə ikincidən istifadə etməkdir.