Səhifələr axtarışdan niyə xaric edilir?

İstisna edilmiş hər bir səhifənin öz səbəbi var və bu, İndeksləmə → Axtarışa yararlı səhifələr → İstisna edilmiş səhifələr bölməsində göstərilir. Yandex bu məsələdə olduqca şəffafdır — Google-da buna bənzər heç nə yoxdur — və səbəb diaqnoz rolunu oynayır, buna görə də siyahını URL-lərə görə deyil, statuslara görə nəzərdən keçirmək lazımdır.

İstisna səbəbləri

• Aşağı dəyərli və ya aşağı tələbatlı — alqoritm onu indeksə daxil etməməyi seçib. Bu, qayda pozuntusu deyil.
• Yükləmə və ya emal xətası (3XX, 4XX, 5XX) — server cavabını yoxlayın; səhifənin sayt xəritəsində (sitemap) olduğundan və heç bir direktivin onu bloklamadığından əmin olun.
• robots.txt və ya noindex ilə bloklanıb — qadağanı aradan qaldırın. Əgər bunu siz etməmisinizsə, hostinq provayderiniz və ya domen qeydiyyatçınızla əlaqə saxlayın və domen müddətinin bitmədiyini yoxlayın.
• Səhifə robotu başqa yerə yönləndirir — yönləndirmənin (redirect) məqsədli olduğunu təsdiqləyin.
• Başqa səhifənin dublikatı.
• Kanonik deyil — səhifə rel="canonical" vasitəsilə başqa yerə işarə edir. Bunun qəsdən edildiyini yoxlayın.
• Alternativ ünvan kimi tanınan ünvan — güzgü qruplaşdırması onu özünə daxil edib; qruplaşdırmanı ləğv etmək ayrı bir prosedurdur.
• Saytda pozuntular aşkar edilib — Təhlükəsizlik və pozuntular bölməsini yoxlayın.

Hər auditdə ortaya çıxan iki sual

“Səhifə brauzerimdə normal açılır.” Yandex bunun səbəbini birbaşa göstərir: robotun göndərdiyi başlıqlar (headers) brauzerinkindən fərqlənir, buna görə də səhifə brauzer üçün işləyə, lakin robot üçün xəta verə bilər. Həmçinin, yükləmə xətası səbəbindən istisna edilmiş səhifə yalnız robot üçün yenidən əlçatan olduqda siyahıdan çıxır — server cavabını yoxlayın və əgər 200 OK qayıdırsa, növbəti taramanı (crawl) gözləyin.

“Bu səhifələr artıq mövcud deyil.” Siyahıya robotun çatdığı, lakin indeksləmədiyi URL-lər, o cümlədən artıq mövcud olmayan URL-lər də daxildir. Onlar yalnız robot üçün müəyyən müddət ərzində əlçatmaz olduqda və daxili və ya xarici heç bir link onlara istinad etmədikdə siyahıdan çıxır. Yandex burada yenidən vurğulayır: istisna edilmiş səhifələr saytın mövqeyinə təsir etmir.

Böyük istisna siyahılarının arxasındakı nümunə

Yandex bunu açıq şəkildə qeyd edir: yalnız rəngi, ölçüsü və ya konfiqurasiyası ilə fərqlənən məhsullar; səhifələnmə (pagination) səhifələri; məhsul seçimi və müqayisə səhifələri; mətni olmayan şəkil səhifələri. Avtomatik yaradılan və bir-birini təkrarlayan title və description cütlükləri vəziyyəti daha da pisləşdirir. Kataloq saytlarında bu, adətən minlərlə ayrı problem deyil, bir şablon qərarıdır.

Düzəliş etdikdən sonra

Gözləmək əvəzinə səhifəni yenidən indekslənməyə göndərin. Robot istisna edilmiş səhifələri ziyarət etməyə davam edir və xüsusi alqoritm hər indeks yenilənməsindən əvvəl onları yenidən qiymətləndirir, buna görə də düzəldilmiş səhifə təxminən iki həftə ərzində geri qayıda bilər.