Alien Road

Təklif alın

Crawler management

Google Axtarış skanlama xətalarının aradan qaldırılması

Saytınız üçün Google Axtarış skanlama problemlərini aradan qaldırmaq və düzəltmək üçün əsas addımlar bunlardır:

  1. Googlebot-un saytınızda əlçatanlıq problemləri ilə qarşılaşıb-qarşılaşmadığını yoxlayın.
  2. Skan edilməyən, lakin edilməli olan səhifələrinizin olub-olmadığını yoxlayın.
  3. Saytınızın hər hansı hissəsinin mövcud olduğundan daha sürətli skan edilməyə ehtiyacı olub-olmadığını yoxlayın.
  4. Saytınızın skanlama səmərəliliyini artırın.
  5. Saytınızın həddindən artıq skan edilməsini idarə edin.

Googlebot-un saytınızda əlçatanlıq problemləri ilə qarşılaşıb-qarşılaşmadığını yoxlayın

Saytınızın əlçatanlığını yaxşılaşdırmaq mütləq skan büdcənizi artırmayacaq; Google əvvəlki kimi skan tələbinə əsasən ən yaxşı skan sürətini müəyyən edir. Bununla belə, əlçatanlıq problemləri Google-un saytınızı istədiyi qədər skan etməsinə mane olur.

Google Axtarış skanlama xətalarının aradan qaldırılması

Diaqnostika:

İstifadə edin Skan Statistikası hesabatı
saytınız üçün Googlebot-un skanlama tarixçəsini görmək üçün. Hesabatda Google-un saytınızda əlçatanlıq problemləri ilə nə vaxt qarşılaşdığı göstərilir. Əgər saytınız üçün əlçatanlıq xətaları və ya xəbərdarlıqları bildirilirsə, Host əlçatanlığı Googlebot sorğularının qırmızı limit xəttini aşdığı qrafikləri tapın, hansı URL-lərin uğursuz olduğunu görmək üçün qrafikə klikləyin və onları saytınızdakı problemlərlə əlaqələndirməyə çalışın.

Bundan əlavə, siz həmçinin istifadə edə bilərsiniz
URL İnspeksiyası Aləti
saytınızda bir neçə URL-i sınamaq üçün. Əgər alət
Host yüklənməsi aşdı
xəbərdarlıqları qaytarırsa, bu o deməkdir ki, Googlebot saytınızdan kəşf etdiyi qədər çox URL skan edə bilməz.

Google Axtarış skanlama xətalarının aradan qaldırılması — 2

Müalicə:

  • Oxuyun Skan Statistikası hesabatı üçün sənədlər bəzi əlçatanlıq problemlərini necə tapmaq və idarə etmək lazım olduğunu öyrənmək üçün.
  • Səhifələrin skan edilməsini istəmirsinizsə, onları skan etməkdən bloklayın. (Bax inventarınızı idarə edin)
  • Səhifənin yüklənmə və göstərilmə sürətini artırın. (Bax Saytınızın skanlama səmərəliliyini artırın)
  • Server tutumunuzu artırın. Əgər Google ardıcıl olaraq saytınızı xidmət tutumu həddində skan edirmiş kimi görünürsə, lakin hələ də skan edilməmiş və ya lazımınca yenilənməyən vacib URL-ləriniz varsa, daha çox xidmət resurslarına malik olmaq Google-a saytınızda daha çox səhifə tələb etməyə imkan verə bilər. Google-un skan sürətinin limit xəttini tez-tez keçdiyini görmək üçün
    Skan Statistikası hesabatı hissəsində host əlçatanlığı tarixçənizi yoxlayın. Əgər belədirsə, bir ay müddətində xidmət resurslarınızı artırın və həmin dövrdə skan sorğularının artıb-artmadığını yoxlayın.

Saytınızın hər hansı hissəsinin skan edilmədiyini, lakin edilməli olduğunu yoxlayın

Google tapa bildiyi bütün yüksək keyfiyyətli, istifadəçi üçün dəyərli məzmunu indeksləşdirmək üçün saytınızda lazım olduğu qədər vaxt sərf edir. Əgər Googlebot-un vacib məzmunu qaçırdığını düşünürsünüzsə, o zaman ya məzmun haqqında məlumatı yoxdur, məzmun Google tərəfindən bloklanıb və ya saytınızın əlçatanlığı Google-un girişini məhdudlaşdırır (və ya Google saytınızı həddən artıq yükləməməyə çalışır).

Diaqnostika:

Axtarış Konsolu URL və ya yol üzrə filtrlənə bilən saytınız üçün skan tarixçəsini təqdim etmir, lakin xüsusi URL-lərin tərəfindən skan edilib-edilmədiyini görmək üçün sayt qeydlərinizi yoxlaya bilərsiniz.
Googlebot. Həmin skan edilmiş URL-lərin indeksləşdirilib-indekslənməməsi başqa mövzudur.

Unutmayın ki, əksər saytlar üçün yeni səhifələrin fərq edilməsi minimum bir neçə gün çəkəcək; xəbər saytları kimi vaxt həssas saytlar istisna olmaqla, əksər saytlar URL-lər üçün eyni gündə skan gözləməməlidir.

Müalicə:

Səhifələrinizi saytınıza əlavə edirsinizsə və onlar ağlabatan müddətdə skan edilmirsə, ya Google onlar haqqında məlumatı yoxdur, məzmun bloklanıb, saytınız maksimum xidmət tutumuna çatıb və ya skan büdcəniz bitib.

  1. Yeni səhifələriniz haqqında Google-a məlumat verin: yeni URL-ləri əks etdirmək üçün sayt xəritələrinizi yeniləyin.
  2. Səhifələri təsadüfən bloklamadığınızı təsdiqləmək üçün robots.txt qaydalarınızı nəzərdən keçirin.
  3. Skanlama prioritetlərinizi nəzərdən keçirin (yəni skan büdcənizdən müdrikcəsinə istifadə edin). İdarə et inventarınızı və.
  4. saytınızın skanlama səmərəliliyini artırınXidmət tutumunuzun tükənmədiyini yoxlayın

.
Serverlərinizin skan sorğularına cavab verməkdə çətinlik çəkdiyini aşkar edərsə, Googlebot skanlamaq qabiliyyətini azaldacaq.

Nəzərə alın ki, məzmun üçün kifayət qədər dəyər və ya istifadəçi tələbi yoxdursa, skan edilsə belə, səhifələr axtarış nəticələrində göstərilməyə bilər.

Yeniləmələrin kifayət qədər tez skan edilib-edilmədiyini yoxlayın

Saytınızda yeni və ya yenilənmiş səhifələr çatışmırsa, bəlkə də onları görməmişik və ya onların yeniləndiyini fərq etməmişik. Səhifə yeniləmələrindən xəbərdar olmağımıza necə kömək edə bilərsiniz:

Nəzərə alın ki, Google səhifələri ağlabatan vaxtda yoxlamağa və indeksləşdirməyə çalışır. Əksər saytlar üçün bu, üç gün və ya daha çoxdur. Xəbər saytınız yoxdursa və ya digər yüksək dəyərli, həddindən artıq vaxt həssas məzmununuz yoxdursa, Google-un səhifələri dərc etdiyiniz eyni gündə indeksləşdirməsini gözləməyin.

Diaqnostika: Xüsusi URL-lərin nə vaxt skan edildiyini görmək üçün sayt qeydlərinizi nəzərdən keçirin.

Googlebot

İndeksləmə tarixini öyrənmək üçün URL İnspeksiyası alətindən istifadə edin və ya yenilədiyiniz URL-lər üçün axtarış edin.

Müalicə:

  • Etmək: İstifadə edin xəbər sayt xəritəsi
  • saytınızda xəbər məzmunu varsa. İstifadə edin <lastmod>
  • indekslənmiş URL-in nə vaxt yeniləndiyini göstərmək üçün sayt xəritələrində etiket. İstifadə edin skan edilə bilən URL strukturu
  • Google-a səhifələrinizi tapmağa kömək etmək üçün. standart təmin edin, keşf edilə bilən <a> keçidlər
    Google-un səhifələrinizi tapmasına kömək etmək üçün.
  • Saytınız mobil və masaüstü versiyalar üçün ayrı HTML istifadə edirsə, mobil versiyada masaüstü versiyadakı ilə eyni keçidlər dəstini təmin edin. Mobil versiyada eyni keçidlər dəstini təmin etmək mümkün deyilsə, onların bir
    sayt xəritəsi faylına daxil edildiyindən əmin olun.
    Google yalnız
    səhifələrin mobil versiyasını indeksləyir və orada göstərilən keçidlərin məhdudlaşdırılması yeni səhifələrin aşkarlanmasını ləngidə bilər.

Çəkinin:

  • Gündə bir neçə dəfə eyni, dəyişdirilməmiş sayt xəritəsini təqdim etməkdən.
  • Googlebot-un sayt xəritəsindəki hər şeyi tarayacağını və ya onları dərhal tarayacağını gözləməyin.
    Sayt xəritələri mütləq tələblər deyil, Googlebot üçün faydalı təkliflərdir.
  • Sayt xəritələrinizə Axtarışda görünməsini istəmədiyiniz URL-ləri daxil etməkdən.
    Bu, indekslənməsini istəmədiyiniz səhifələrdə tarama büdcənizi israf edə bilər.

Saytınızın tarama səmərəliliyini artırın

Səhifənin yüklənmə sürətini artırın

Google-un tarama prosesi ötürmə qabiliyyəti, vaxt və Googlebot instansiyalarının mövcudluğu ilə məhdudlaşır.
Serveriniz sorğulara daha sürətli cavab verərsə, saytınızda daha çox səhifəni taraya bilərik. Bununla belə, Google yalnız yüksək keyfiyyətli məzmunu taramaq istəyir, ona görə də sadəcə aşağı keyfiyyətli səhifələri daha sürətli etmək Googlebot-u saytınızın daha çox hissəsini taramağa sövq etməyəcək; əksinə, əgər saytınızda yüksək keyfiyyətli məzmunun çatışmadığını düşünürüksə, ehtimal ki, həmin məzmunu taramaq üçün büdcənizi artıracağıq.

Səhifələrinizi və resurslarınızı tarama üçün necə optimallaşdıra bilərsiniz:

  • robots.txt istifadə edərək böyük, lakin əhəmiyyətsiz resursların Googlebot tərəfən yüklənməsinin qarşısını alın.
    Yalnız kritik olmayan resursları – yəni səhifənin mənasını başa düşmək üçün vacib olmayan resursları (dekorativ şəkillər kimi) bloklamağınızdan əmin olun.
  • Səhifələrinizin sürətli yükləndiyindən əmin olun.
  • Taramağa mənfi təsir göstərən uzun yönləndirmə zəncirlərindən ehtiyatlı olun.
  • Həm server sorğularına cavab vermə vaxtı, həm də səhifələrin render edilməsi üçün tələb olunan vaxt, o cümlədən şəkillər və skriptlər kimi daxil edilmiş resurslar üçün yükləmə və işləmə vaxtı vacibdir. İndeksləmə üçün tələb olunan böyük və ya yavaş resurslardan xəbərdar olun.

HTTP status kodları ilə məzmun dəyişikliklərini təyin edin

Google ümumiyyətlə
If-Modified-Since və If-None-Match HTTP sorğu başlıqlarını
tarama üçün dəstəkləyir. Google-un skanerləri bütün tarama cəhdləri ilə başlıqları göndərmir; bu, sorğunun istifadə hallarından asılıdır (məsələn,
AdsBot HTTP sorğu başlıqlarını If-Modified-Since və If-None-Match təyin etmək ehtimalı daha yüksəkdir). Skanerlərimiz If-Modified-Since başlığını göndərirsə, başlığın dəyəri məzmunun sonuncu dəfə tarandığı tarix və vaxtdır
. Həmin dəyərə əsasən, server cavab gövdəsi olmadan
304 (Dəyişdirilməyib) HTTP status kodunu qaytarmağı seçə bilər, bu halda Google sonuncu dəfə taradığı məzmun versiyasından yenidən istifadə edəcək. Əgər məzmun skaner tərəfindən If-Modified-Since başlığında göstərilən tarixdən daha təzədirsə, server cavab gövdəsi ilə birlikdə
200 (OK) HTTP status kodunu qaytarıla bilər.

Sorğu başlıqlarından asılı olmayaraq, məzmun Googlebot URL-ə sonuncu dəfə baş çəkdikdən sonra dəyişməyibsə, istənilən Googlebot sorğusu üçün 304 (Dəyişdirilməyib) HTTP status kodu və cavab gövdəsi olmadan göndərə bilərsiniz. Bu, serverinizin emal vaxtına və resurslarına qənaət edəcək ki, bu da dolayısı ilə tarama səmərəliliyini artıra bilər.

Axtarış nəticələrində istəmədiyiniz URL-ləri gizlədin

Lazımsız səhifələrdə server resurslarını israf etmək sizin üçün vacib olan səhifələrdən tarama fəaliyyətini azalda bilər və bu, saytda əla yeni və ya yenilənmiş məzmunun aşkar edilməsində əhəmiyyətli gecikməyə səbəb ola bilər.

Axtarış tərəfindən taramağını istəmədiyiniz saytınızda bir çox URL-lərin göstərilməsi saytın tarama və indekslənməsinə mənfi təsir göstərə bilər. Adətən bu URL-lər aşağıdakı kateqoriyalara bölünür:

Edin:

  • Google-un resursu və ya səhifəni ümumiyyətlə taramasını istəmirsinizsə, robots.txt istifadə edin.
  • Ümumi resurs bir neçə səhifədə təkrar istifadə olunarsa (paylaşılan şəkil və ya JavaScript faylı kimi), hər səhifədə eyni URL-dən resursa istinad edin ki, Google eyni resursu dəfələrlə tələb etmədən keşləyə və yenidən istifadə edə bilsin.

Çəkinin:

  • Saytınız üçün tarama büdcəsini yenidən bölüşdürmək vasitəsi kimi robots.txt-dən müntəzəm olaraq səhifələr və ya qovluqlar əlavə etməyin və ya silməyin. robots.txt-dən yalnız uzunmüddətli perspektivdə Google-da görünməsini istəmədiyiniz səhifələr və ya resurslar üçün istifadə edin.
  • Büdcəni yenidən bölüşdürmək üçün sayt xəritələrini dəyişdirməyin və ya digər müvəqqəti gizlətmə mexanizmlərindən istifadə etməyin.

yumşaq 404 xətaları

A soft 404 xətası, istifadəçiyə səhifənin mövcud olmadığını bildirən, lakin eyni zamanda
200 (uğurlu)
status koduqaytaran URL-dir. Bəzi hallarda, bu, əsas məzmunu olmayan və ya boş səhifə ola bilər.

Belə səhifələr veb saytınızın serveri, məzmun idarəetmə sistemi və ya istifadəçinin brauzeri tərəfindən müxtəlif səbəblərdən yaradıla bilər. Məsələn:

  • Çatışmayan server tərəfli daxil etmə faylı.
  • Məlumat bazasına qırılmış əlaqə.
  • Boş daxili axtarış nəticəsi səhifəsi.
  • Yüklənməmiş və ya başqa şəkildə çatışmayan JavaScript faylı.

İstifadəçiyə 200 (uğurlu) status kodu qaytarıb, sonra səhifədə xəta mesajı və ya hər hansı bir xəta göstərmək pis istifadəçi təcrübəsidir. İstifadəçilər səhifənin işlək olduğunu düşünə bilər, lakin sonra onlara hansısa xəta təqdim olunur. Belə səhifələr Axtarışdan xaric edilir.

Google alqoritmləri məzmununa əsasən səhifənin əslində xəta səhifəsi olduğunu aşkar etdikdə, Search Console saytın soft 404 xətasını
Səhifə İndeksləmə hesabatında.

göstərəcəkdir. soft 404 xətalarını düzəldin

Səhifənin vəziyyətindən və istədiyiniz nəticədən asılı olaraq, soft 404
xətalarını bir neçə yolla həll edə bilərsiniz:

İstifadəçiləriniz üçün hansı həllin ən yaxşı olacağını müəyyən etməyə çalışın.

Səhifə və məzmun artıq mövcud deyil

Əgər səhifəni silmisinizsə və saytınızda oxşar məzmunlu əvəzedici səhifə yoxdursa, həmin səhifə üçün
404 (tapılmadı) və ya 410 (yoxdur)
cavab (status) kodu qaytarın. Bu status kodları axtarış sistemlərinə səhifənin mövcud olmadığını və axtarış sistemlərinin səhifəni indeksləməsini istəmədiyinizi bildirir.

Serverinizin konfiqurasiya fayllarına girişiniz varsa, bu xəta səhifələrini fərdiləşdirərək istifadəçilər üçün faydalı edə bilərsiniz. Yaxşı bir xüsusi 404 səhifə insanların axtardıqları məlumatı tapmalarına kömək edir və həmçinin insanların saytınızı daha çox araşdırmasına təşviq edən digər faydalı məzmunlar təqdim edir. Faydalı xüsusi
404 səhifə dizayn etmək üçün bəzi məsləhətlər:

  • Ziyarətçilərə axtardıqları səhifənin tapılmadığını aydın şəkildə bildirin. Mehriban və dəvətkar dildən istifadə edin.
  • Səhifənizin saytınızın qalan hissəsi ilə eyni görünüşə və hissə (naviqasiya daxil olmaqla) malik olduğundan əmin olun. 404 Ən populyar məqalələrinizə və ya yazılarınıza keçidlər, həmçinin saytınızın ana səhifəsinə keçid əlavə etməyi düşünün.
  • İstifadəçilərin qırılmış keçid haqqında məlumat verməsi üçün bir yol təqdim etməyi düşünün.
  • Xüsusi

səhifələr yalnız istifadəçilər üçün yaradılır. Bu səhifələr axtarış sistemi baxımından yararsız olduğundan, səhifələrin indekslənməsinin qarşısını almaq üçün serverin 404 HTTP status 404 kodu qaytardığından əmin olun.

Səhifə və ya məzmun artıq başqa yerdədir

Əgər səhifəniz köçürülübsə və ya saytınızda aydın bir əvəzedicisi varsa, istifadəçini yönləndirmək üçün
301 (daimi yönləndirmə)
qaytarın. Bu, onların baxış təcrübəsini kəsməyəcək və həmçinin axtarış sistemlərinə səhifənin yeni yeri haqqında məlumat vermək üçün əla bir yoldur. URL-inizin həqiqətən düzgün kod qaytardığını yoxlamaq üçün
URL yoxlama alətindən
istifadə edin.

Səhifə və məzmun hələ də mövcuddur

Əgər başqa cür yaxşı olan bir səhifə soft 404 xətası ilə işarələnibsə, çox güman ki, Googlebot üçün düzgün yüklənməyib, kritik resursları çatışmır və ya render zamanı nəzərə çarpan bir xəta mesajı göstərib. Render edilmiş məzmunu və qaytarılan HTTP kodunu yoxlamaq üçün
URL yoxlama alətindən
istifadə edin. Əgər render edilmiş səhifə boşdursa, demək olar ki, boşdursa və ya məzmununda xəta mesajı varsa, səhifəniz yüklənə bilməyən bir çox resursa (şəkillər, skriptlər və digər qeyri-mətn elementləri) istinad edə bilər ki, bu da soft 404kimi şərh edilə bilər.
Resursların yüklənə bilməməsinin səbəblərinə bloklanmış resurslar (robots.txt

tərəfindən bloklanıb), səhifədə çoxlu resursun olması, müxtəlif server xətaları və ya yavaş yüklənmə və ya çox böyük resurslar daxildir.

Saytınızın həddindən artıq krol edilməsini idarə edin (fövqəladə hallar)

Googlebot-un saytınızı krol sorğuları ilə yükləməsinin qarşısını almaq üçün alqoritmləri var. Lakin, Googlebot-un saytınızı yüklədiyini görsəniz, edə biləcəyiniz bir neçə şey var.:

Diaqnostika

Serverinizi saytınıza gələn həddindən artıq Googlebot sorğuları üçün izləyin.:

Müalicə

  1. Fövqəladə vəziyyətdə, Googlebot-dan gələn həddindən artıq krolu yavaşlatmaq üçün aşağıdakı addımları tövsiyə edirik: 503 Qaytarın 429 və ya HTTP cavab status kodları müvəqqəti olaraq
  2. serveriniz yükləndikdə Googlebot sorğuları üçün. Googlebot bu URL-ləri təxminən 2 gün ərzində yenidən sınayacaq. Qeyd edək ki, bir neçə gündən çox “mövcud deyil” kodlarını qaytarmaq Google-un saytınızdakı URL-ləri daimi olaraq yavaşlatmasına və ya krol etməyi dayandırmasına səbəb olacaq, ona görə də əlavə növbəti addımları izləyin. 503 Krol sürəti aşağı düşdükdə, krol sorğuları üçün 429 və ya 503 HTTP cavab status kodlarını qaytarmağı dayandırın; 2 gündən çox 429 və ya
  3. qaytarmaq Google-un həmin URL-ləri indeksdən çıxarmasına səbəb olacaq.
  4. Krol edilmənizi və host tutumunuzu zamanla izləyin.
    Əgər problemli kroler bunlardan biridirsə: AdsBot krolerləri,
    problem böyük ehtimalla yaratdığınız
    Dinamik Axtarış Elanı hədəfləri
    saytınız üçün Google-un indeksləməyə çalışdığı. Bu indeksləmə hər 3 həftədən bir təkrarlanacaq. Əgər bu indeksləmələri idarə etmək üçün server tutumunuz yoxdursa, ya reklam hədəflərinizi məhdudlaşdırın, ya da xidmət tutumunuzu artırın.
Alien Road

Bunu necə tətbiq edirik

Crawling errors reported in Search Console are often server-side and intermittent. We correlate them with server logs and uptime data before concluding that Google has a problem with the site.

Əlaqəli xidmətlər

Paylaş
Google SEO analysisYandex SEO analysisBaidu SEO analysisAI search (GEO) analysisSüni intellektlə sayt analizi