Baiduspider robots.txt protokolu veb-saytın hansı hissələrinin indekslənməli və ya nəzərə alınmamalı olduğunu Baidu-nun veb-skanerinə bildirmək üçün istifadə olunan standart ünsiyyət üsuludur. Kök qovluqda mətn faylı yerləşdirməklə veb-ustalar skaner hər hansı digər səhifəyə daxil olmazdan əvvəl oxuduğu dəqiq təlimatlar verirlər. Bu quraşdırma server resurslarını idarə etməyə kömək edir və aşağı dəyərli qovluqların domeninizə ayrılmış skan büdcəsini israf etməsinin qarşısını alır.
Baiduspider robots.txt faylınızı necə emal edir?
Baiduspider robots.txt faylını example.com/robots.txt kimi domeninizin ən yüksək səviyyəli qovluğunda axtarır. Əgər fayl yoxdursa, skaner saytın bütün əlçatan hissələrinə baş çəkmək icazəsinə malik olduğunu güman edir. O, standart Robotları İstisna Protokoluna əməl edir, lakin fayl yoxlamalarının tezliyi ilə bağlı xüsusi davranışlara malikdir. Adətən, skaner təlimatları müəyyən müddət üçün keşləyir, yəni etdiyiniz dəyişikliklər dərhal görünməyə bilər.
Prosesi sürətləndirmək üçün Baidu Axtarış Resurs Platformasından istifadə edərək mühərriki yeniləmə barədə məlumatlandıra bilərsiniz. Platformada kodunuzun etibarlı olub olmadığını yoxlamaq üçün yapışdıra biləcəyiniz ‘Robots.txt Təhlili’ adlı alət var. Bu alət Baiduspider-in qaydalarınızı necə şərh etdiyini dəqiq göstərir. Xüsusilə sayt strukturunda dəyişikliklər etdikdən və ya yeni serverə keçdikdən sonra bunu müntəzəm olaraq yoxlamaq yaxşı təcrübədir.
Baiduspider robots.txt protokolu üçün əsas direktivlər hansılardır?
Baidu qlobal axtarış sistemləri tərəfindən istifadə edilən ən ümumi direktivləri dəstəkləyir, lakin onlara üstünlük vermə forması bir qədər fərqlənə bilər. Əsas məqsəd skanerə admin panellərindən, axtarış nəticələri səhifələrindən və ya sessiya ID-lərindən uzaq durmaqla ən yaxşı məzmununuzu tapmaq üçün aydın yol təqdim etməkdir. Aydın qaydalar mühərrikə sayt xəritənizi və iyerarxiyanızı daha sürətli başa düşməyə kömək edir.
- User-agent: Baiduspider: Bu sətr xüsusi olaraq veb axtarışı üçün əsas Baidu skanerini hədəfləyir.
- Disallow: /admin/: Bu qayda skanerin arxa hissə qovluqlarınıza daxil olmasının və onları indeksləməsinin qarşısını alır.
- Allow: /static/admin/: Əsas qovluq bloklanmış olsa belə, müəyyən alt qovluqları açmaq üçün bundan istifadə edin.
- Sitemap: https://example.com/sitemap.xml: Bu, daha sürətli kəşf üçün URL-lərinizin tam siyahısını harada tapacağını Baiduspider-ə bildirir.
- Wildcards (*): Bunlar dinamik sorğular üçün sual işarələri ehtiva edənlər kimi URL qruplarını bloklamağa imkan verir.
Baidu həmçinin sətrin sonu çapasını ($) dəstəkləyir. Bu, xüsusi fayl növlərini bloklamaq istədikdə çox kömək edir. Məsələn, əgər Baiduspider-in PDF fayllarınızı indeksləşdirməsini istəmirsinizsə, .pdf ilə bitən URL-ləri hədəfləyən qaydadan istifadə edə bilərsiniz. Bu səviyyədə nəzarət bir çox texniki sənəd və ya şəxsi resurs yerləşdirən saytlar üçün açardır.
Baidu SEO üçün skan büdcəsinin idarə edilməsi nə üçün həyati əhəmiyyət kəşf edir?
Skan büdcəsi Baiduspider-in müəyyən müddət ərzində saytınızda baş çəkəcəyi səhifələrin sayıdır. Əgər saytınızda filtr nəticələri və ya dublikat məhsul görünüşləri kimi minlərlə aşağı keyfiyyətli səhifə varsa, skaner bütün enerjisini orada sərf edə bilər. Bu, yeni bloq yazılarımızın və ya məhsul yeniləmələrimizin tapılması üçün yer qoymur. robots.txt-dən düzgün istifadə etməklə siz skaneri saytınızın ən qiymətli bölmələrinə yönəldirsiniz.
Biz tez-tez skanerin vaxtının 80%-ni heç bir SEO dəyəri olmayan axtarış filtri səhifələrində sərf etdiyi saytları görürük. robots.txt faylını düzəltmək həmin enerjini əslində satış təmin edən səhifələrə yönəltməyin ən sürətli yoludur.
Alien Road SEO komandası
Alien Road Baiduspider robots.txt protokolunu necə tətbiq edir
Alien Road müştəri saytları üçün Baiduspider girişini idarə etmək üçün ətraflı prosesə əməl edir. Kəşf mərhələsində biz Baiduspider-in daxili axtarış nəticələri və ya sessiya ID-ləri kimi aşağı dəyərli URL-lərə vaxt sərf edib-etmədiyini müəyyən etmək üçün server giriş qeydlərini təhlil edirik. Bu, hər hansı dəyişiklik etməzdən əvvəl canlı saytda skanerin faktiki davranışını görməyə kömək edir.
Quraşdırma mərhələsi üçün biz mühüm eniş səhifələrini açıq saxlayaraq, bu yollar üçün xüsusi Disallow qaydalarından istifadə edən xüsusi robots.txt faylı yaradırıq. Üstəlik, əgər onlar müxtəlif URL strukturlarından istifadə edirlərsə, saytın mobil və masaüstü versiyalarının düzgün idarə olunmasını təmin edirik. Ölçmə skan tezliyini izləmək və yeni qaydalardan yarana biləcək hər hansı skan xətalarını yoxlamaq üçün Baidu Axtarış Resurs Platformasından istifadəni əhatə edir.
Nəhayət, biz müştəriyə skan büdcəsinin yüksək prioritetli kommersiya səhifələrinə necə keçdiyini göstərdiyimiz hesabat mərhələsini təmin edirik. Məsələn, elektron ticarət brendi üçün tipik hesabda, skan üçün ağır etiket səhifələrini blokladıqdan sonra yeni məhsullar üçün indeksləşdirmə sürətinin 30% artdığını görə bilərik. Bu, müştərinin marketinq büdcəsinin əlaqəsiz məzmunun indekslənməsinə sərf olunmamasını təmin edir.
Doğrulama üçün Baidu Axtarış Resurs Platformasından istifadə
Doğrulama bizim prosesimizdə əsas addımdır. Hər bir kod sətrini sınamaq üçün rəsmi alətdən istifadə edirik. Əgər qayda çox genişdirsə, o, Baiduspider-in səhifəni düzgün şəkildə göstərməsi üçün lazım olan CSS və ya JavaScript fayllarını bloklaya bilər. Skanerin açar saxlamaq istədiyimiz 404 xətalarına və ya bloklanmış yollara toxunmadığından əmin olmaq üçün ‘Skan Statistikası’ hesabatını mütəmadi olaraq yoxlayırıq. Bu məlumatlara əsaslanan yanaşma saytı sağlam saxlayır.
Xüsusi Baidu alt skanerlərini bloklaya bilərsinizmi?
Baidu müxtəlif növ məzmunlar üçün müxtəlif skanerlərdən istifadə edir. Ümumi Baiduspider veb səhifələri idarə etdiyi halda, digər agentlər şəkillər, videolar və ya mobil üçün xüsusi məzmun axtarırlar. Digərlərinə icazə verməklə birini bloklamağı seçə bilərsiniz. Bu, şəkillərinizin axtarışda görünməsini istəyirsinizsə, lakin səhifələrin özünü gizli saxlamaq istəyirsinizsə və ya əksini istəyirsinizsə, faydalıdır.
- Baiduspider-image: Baidu Şəkil Axtarışı üçün şəkillərin indekslənməsinə diqqət yetirir.
- Baiduspider-video: Xüsusi olaraq video axtarış sistemi üçün video məzmununu skan edir.
- Baiduspider-mobile: Mobil üçün əlverişli standartlara cavab vermələrini təmin etmək üçün mobil spesifik səhifələrin skan edilməsini idarə edir.
- Baiduspider-news: Baidu Xəbərlər bölməsində məzmunun indekslənməsi üçün istifadə olunur.
Bundan əlavə, bu xüsusi agentləri bilmək daha yaxşı nəzarətə imkan verir. Əgər serveriniz yüksək trafiklə mübarizə aparırsa, əsas veb skaner üçün ötürücü zolağı qorumaq üçün şəkil skanerini müvəqqəti olaraq bloklamağı seçə bilərsiniz. Bu rahatlıq bütün axtarış görünürlüyünü itirmədən pik trafik dövrlərində saytın performansını qorumağa kömək edir.
Alt skanerlərin seçici şəkildə bloklanması yüksək trafikli saytlar üçün faydalı taktikadır. Bu, Çindəki istifadəçilər üçün ən vacib veb məzmunun görünən olmasını təmin etməklə yanaşı, server sabitliyini qorumağa imkan verir.
Alien Road SEO komandası
Baiduspider robots.txt konfiqurasiyasında ümumi səhvlər
Ümumi səhvlərdən biri səhifənin göstərilməsi üçün lazım olan resursların bloklanmasıdır. Əgər geniş Disallow qaydasına görə Baiduspider JavaScript və ya CSS fayllarınıza daxil ola bilmirsə, o, boş səhifə görə bilər. Bu, zəif reytinqlərə səbəb olur, ஏünki mühərrik məzmunu yoxlaya bilmir. Həmişə ‘Allow’ qaydalarınızın saytınızın vizual və funksional aktivlərini ehtiva edən qovluqları əhatə etdiyinə əmin olun.
Digər səhv fayl yerini və ya adını ehtiva edir. Fayl hamısı kiçik hərflərlə ‘robots.txt’ adlandırılmalı və kök qovluqda yerləşməlidir. Məsələn, Shopify mağazasının redaktə edilməsi çətin olan standart robots.txt ola bilər. Belə hallarda, hansı səhifələrin əslində bloklandığını yoxlamaq üçün platformanın alətlərindən istifadə etmək vacibdir. Əgər fayl /blog/robots.txt kimi alt qovluqda yerləşdirilərsə, Baiduspider onu tamamilə nəzərdən qaçıracaq.
Bu həftə haradan başlamaq lazımdır
‘Skan İdarəetməsi’ menyusu altında Robots alətini tapmaq üçün Baidu Axtarış Resurs Platforması hesabınıza daxil olmaqla başlayın. Cari robots.txt faylınızın düzgün aşkar edildiyini və heç bir kritik səhifənin səhvən bloklanmadığını yoxlayın. Əgər axtarış nəticələrində olmamalı olan səhifələri, məsələn, daxili axtarış səhifələrini müəyyən etsəniz, həmin yollar üçün dərhal qadağa qaydası əlavə edin.
Sonra faylınızı yeniləyin və dəyişiklik barədə Baidu-nu məlumatlandırmaq üçün platformadan istifadə edin. Skanerin yeni təlimatlara əməl etməsini təmin etmək üçün növbəti yeddi gün ərzində saytınızın indeksləşdirmə statusunu izləyin. Mühərrikin artıq yüksək prioritetli səhifələrinizə daha çox vaxt sərf edib-etmədiyini görmək üçün skan tezliyi hesabatlarınızı yoxlayın. Daimi monitorinq girişə nəzarət strategiyanızın SEO məqsədlərinizə uyğun qalmasını təmin edir.