Disallow və Allow direktivləri

Disallow bölmələrin və ya səhifələrin indekslənməsinin qarşısını alır; Allow onlara icazə verir. Yandex nəyin arxasında durduğunu sadalayır Disallow: məxfi məlumatları olan səhifələr, daxili axtarış nəticələri, trafika statistikası, dublikatlar, loqlar və verilənlər bazası xidməti səhifələri.

İnsanların qaçırdığı tövsiyə

Ünvanları daşıyan səhifələr üçün GET parametrləri, Yandex tövsiyə edir Clean-param əvəzinə Disallow, və səbəbini izah edir: ilə Disallow, dublikatın parametrsiz qarşılığını müəyyən edə bilməyə bilər və bloklanmış səhifələrin toplanmış bəzi metrikləri itirilir. Bloklama siqnalları ləğv edir; Clean-param onları kanonik ünvanda birləşdirir.

Bu, əksər texniki auditlərin verdiyi cavabdan həqiqətən fərqli cavabdır və hər hansı bir kommersiya saytındakı istənməyən URL-lərin ən böyük kateqoriyasına — izləmə teqlərinə, çeşidləmə qaydalarına, sessiya identifikatorlarına tətbiq olunur.

Nümunələr

Disallow: /            # bütün sayt
Disallow: /catalogue   # /catalogue ilə başlayan hər şey
Disallow: /page?       # URL-i /page-dən sonra parametrləri ehtiva edən hər şey

Kombinasiyada icazə verin

User-agent: Yandex
Allow: /cgi-bin
Disallow: /

Hər şey bloklanıb, lakin ilə başlayan yollar istisnadır /cgi-bin. Bu tərs çevrilmə — hamısını blokla, xüsusilələrə icazə ver — səhnələşdirmə mühiti və ya yalnız bir neçə bölmənin heç vaxt indekslənməli olduğu tətbiq üçün düzgün formadır və hər bir kataloqu istisna etmək üçün sadalamaqdan qat-qat təhlükəsizdir.

Disallow-un etmədiyi şey

O, səhifəni axtarışdan silmir. Bloklanmış səhifə hələ də siyahıya düşə bilər. Daha pisi, səhifənin bloklanması robotun onu oxumasına mane olur noindex ona görə də iki alət heç vaxt eyni URL-də birləşdirilməməlidir.

Yerləşdirmədən əvvəl

Nəzərdə tutulmuş URL-ləri analizatordan keçirin — həm bloklanmalı olanları, həm də olunmaması lazım olanları. Yanlış dəqiqlik qaydası trafik yoxa çıxana qədər görünməzdir.