Crawling infrastructure

HTTP status kodları Google-un krolerlərinə necə təsir edir

Bu səhifə müxtəlif
HTTP status kodlarının, veb məzmununuzu krollamaq üçün Google-un imkanlarına necə təsir etdiyini təsvir edir. Biz Google-un vebdə rastlaşdığı ən yaxşı 20 status kodunu əhatə edirik. Daha ekzotik status kodları, məsələn,
418 (I'm a teapot), əhatə olunmur.

HTTP status kodları

HTTP status kodları, müştəri (məsələn, brauzer və ya kroler) tərəfindən edilən sorğuya cavab verərkən saytı host edən server tərəfindən yaradılır. Hər bir HTTP status kodunun fərqli mənası var, lakin çox vaxt sorğunun nəticəsi eyni olur. Məsələn, yönləndirməni bildirən bir neçə status kodu var, lakin onların nəticəsi eynidir.

HTTP status kodları Google-un krolerlərinə necə təsir edir

Search Console status kodları üçün xəta mesajları yaradır 4xx—5xx aralığında və uğursuz yönləndirmələr üçün (3xx). Əgər server
2xx status kodu ilə cavab veribsə, cavabda alınan məzmun indekslənmə üçün nəzərdən keçirilə bilər.

Aşağıdakı cədvəldə Google tərəfindən ən çox rast gəlinən HTTP status kodları və Google-un hər bir status kodunu necə idarə etdiyinə dair izahat var.

HTTP status kodları

2xx (uğurlu)

Google məzmunu emal üçün nəzərdən keçirir (məsələn, Google Axtarış vəziyyətində, indekslənmə üçün). Əgər məzmun Google Axtarış üçün xəta, boş səhifə və ya xəta mesajı təklif edirsə, Search Console
soft 404 xətası göstərəcək.

HTTP status kodları Google-un krolerlərinə necə təsir edir — 2
200 (uğurlu)

Google aldığı hər şeyi növbəti emal mərhələsinə (məhsula xas olan) ötürür. Google Axtarış üçün növbəti sistem indeksləmə konveyeridir. İndeksləmə sistemləri məzmunu indeksləyə bilər, lakin bu zəmanətli deyil.

201 (yaradılıb)
202 (qəbul edilib)

Google məzmunu məhdud müddət ərzində gözləyir, sonra aldığı hər şeyi növbəti emal mərhələsinə (məhsula xas olan) ötürür. Taym-aut istifadəçi agentindən asılıdır, məsələn, Googlebot Smartphone, Googlebot Image-dən fərqli taym-auta sahib ola bilər.

204 (məzmun yoxdur)

Google heç bir məzmun ala bilmədi və buna görə də onu emal edə bilmir.

3xx (yönləndirmə)

Varsayılan olaraq, Google-un krolerləri 10-a qədər yönləndirmə hopunu izləyir. Lakin, xüsusi məhsulların krolerlərinin fərqli limitləri ola bilər. Məsələn, Googlebot ümumiyyətlə ümumi veb məzmunu krollayarkən 10 yönləndirmə hopunu izləyir, lakin Google Inspection Tools yönləndirmələri izləmir.

Google-un yönləndirən URL-dən aldığı hər hansı məzmun nəzərə alınmır və bunun əvəzinə son hədəf URL-in məzmunu emal edilir. robots.txt faylları üçün, öyrənin ki,
Google 3xx status kodu qaytaran robots.txt-ni necə idarə edir.

301 (daimi köçürülüb)

Google yönləndirməni izləyir və Google sistemləri yönləndirmədən yönləndirmə hədəfinin emal edilməli olduğuna dair
güclü siqnal kimi istifadə edir.

302 (tapılıb)

Varsayılan olaraq, Google-un krolerləri yönləndirməni izləyir və Google sistemləri yönləndirmədən yönləndirmə hədəfinin emal edilməli olduğuna dair
zəif siqnal kimi istifadə edir. Digər məhsullar yönləndirməni fərqli şəkildə idarə edə bilər.

303 (digərinə bax)
304 (dəyişdirilməyib)

Google krolerləri növbəti emal sisteminə siqnal verir ki, məzmun sonuncu dəfə krollandığı vaxtla eynidir. Google Axtarış vəziyyətində, indeksləmə konveyeri URL üçün siqnalları yenidən hesablaya bilər, lakin başqa halda status kodunun indekslənməyə heç bir təsiri yoxdur.

307 (müvəqqəti yönləndirmə)Bərabərdir 302.
308 (daimi köçürülüb)Bərabərdir 301.

4xx (müştəri xətaları)

Google 4xx status kodları qaytaran URL-lərdən gələn məzmunu istifadə etmir. Əgər URL əvvəllər istifadə olunubsa, lakin indi 4xx status kodu qaytarırsa, Google sistemləri zamanla URL-dən istifadəni dayandıracaq. Google Axtarış vəziyyətində, Google 4xx status kodu qaytaran URL-ləri indeksləmir və artıq indekslənmiş və 4xx status kodu qaytaran URL-lər indeksdən çıxarılır.

Google-un 4xx status kodu qaytaran URL-lərdən aldığı hər hansı məzmun nəzərə alınmır.

400 (yanlış sorğu)

Bütün 4xx xətaları, istisna olmaqla, 429, eyni şəkildə müalicə olunur: Google krolerləri növbəti emal sisteminə məzmunun mövcud olmadığını bildirir.

Google Axtarış vəziyyətində, indeksləmə konveyeri əvvəllər indekslənibsə, URL-i indeksdən çıxarır. Yeni rast gəlinən 404 səhifələr emal edilmir. Krollama tezliyi tədricən azalır.

401 (icazəsiz)
403 (qadağandır)
404 (tapılmadı)
410 (silinib)
411 (uzunluq tələb olunur)
429 (çox sayda sorğu)

Google-un botları 429 status kodunu serverin həddindən artıq yükləndiyinə dair siqnal kimi qəbul edir və bu, server xətası hesab olunur.

5xx (server xətaları)

5xx və 429 server xətaları Google botlarının tarama sürətini müvəqqəti olaraq azaltmasına səbəb olur. Google Axtarış üçün artıq indekslənmiş URL-lər indeksdə saxlanılır, lakin sonda silinir.

5xx status kodunu qaytaran URL-lərdən Google-un aldığı hər hansı məzmun nəzərə alınmır. robots.txt faylları üçün Google-un
5xx status kodunu qaytaran robots.txt faylını necə idarə etdiyini öyrənin Server.

2xx status kodunu qaytarmağa başladıqdan sonra Google sayt üçün tarama sürətini tədricən artırır. 500 (daxili server xətası)

Google sayt üçün tarama sürətini azaldır. Tarama sürətindəki azalma server xətası qaytaran fərdi URL-lərin sayına mütənasibdir. Google Axtarış üçün Google-un indeksləmə sistemi davamlı olaraq server xətası qaytaran URL-ləri indeksdən çıxarır.

502 (yaramaz şlüz)

503 (xidmət əlçatmazdır)
HTTP status kodları Google botlarına necə təsir edir | Alien Road
Alien Road

Bunu necə tətbiq edirik

Status codes are instructions to Google, and clients use them loosely. A soft 404, a 302 that should be a 301 and a 503 left in place too long each produce a different and predictable indexing outcome.

Əlaqəli xidmətlər

Paylaş