Robots txt konfiqurasiyası, axtarış motoru krolerlərinə hansı yollara daxil ola biləcəklərini bildirmək üçün veb saytın kök qovluğunda yerləşdirilən sadə bir mətn faylının yaradılmasını əhatə edir. Google-un sənədlərində qeyd olunur ki, robots txt direktivləri axtarış motoru krolerlərinə saytınızdakı hansı URL-lərə daxil ola biləcəklərini bildirir, lakin bu, veb səhifəni Google-dan kənarda saxlamaq üçün bir mexanizm deyil. Bu faylın idarə edilməsi dəqiqlik tələb edir, çünki səhv yerləşdirilmiş bir simvol təsadüfən dəyərli səhifələrin axtarış motoru görünürlüyünü bağlaya bilər. Rəqəmsal marketoloqlar və sayt administratorları həm müəssisə saytlarında, həm də kiçik bloqlarda təmiz indeksləməni qorumaq üçün düzgün sintaksisi, user-agent qaydalarını və disallow əmrlərini başa düşməlidirlər.
Robots.txt faylının məqsədi nədir?
Robots.txt faylının əsas işi krol büdcəsini idarə etmək və lazımsız URL-ləri bloklayaraq serverin həddindən artıq yüklənməsinin qarşısını almaqdır. Axtarış motoru botları bir domenə çatdıqda, hər hansı digər qovluğu skan etməzdən əvvəl ilk olaraq bu faylı tələb edirlər. Təlimatlar müəyyən qovluqların ziyarət edilməməli olduğunu göstərirsə, kroler əksər standart ssenarilərdə bu məhdudiyyətlərə hörmət edir. Bu, axtarış motorlarının alış-veriş səbəti ödənişləri, admin girişləri və ya daxili axtarış parametri sətirləri kimi aşağı dəyərli səhifələrə resurs sərf etməsinin qarşısını almağa kömək edir.
Bununla belə, veb administratorlar tez-tez krollama və indeksləmə arasındakı sərhədi yanlış başa düşürlər. Bir URL-i robots.txt vasitəsilə bloklamaq krolerlərin həmin xüsusi ünvana daxil olmasını dayandırır, lakin digər xarici keçidlər ona işarə edərsə, səhifənin axtarış nəticələrində görünməsini tamamilə dayandırmır. Axtarış motorları bloklanmış URL-ə xarici keçidlə qarşılaşdıqda, tam səhifə məzmununu bilmədən lövbər mətni ipuclarından istifadə edərək ünvanı indeksdə siyahıya ala bilərlər. Səhifənin axtarış nəticələrində görünməsinin qarşısını almaq, kroler istisna fayllarına tamamilə etibar etmək əvəzinə, düzgün meta robots noindex teqləri və ya parol qorunması tələb edir.
Əsas Robots.txt qaydalarını necə strukturlaşdırmaq olar?
Standart robots.txt faylı user-agent-lər, disallow qaydaları, allow qaydaları və sayt xəritəsi bəyannamələrindən ibarət sadə bir sintaksisdən istifadə edir. Hər bir qayda bloku User-agent direktivindən istifadə edərək xüsusi kroleri müəyyən etməklə başlayır. Ulduz işarəsi (*) bütün standart veb krolerləri təmsil edir, Googlebot kimi xüsusi adlar isə fərdi axtarış motorlarını hədəfləyir. User-agent sətirindən sonra administratorlar botların avtomatlaşdırılmış ziyarətləri zamanı hansı qovluqları və ya faylları nəzərə almamalı olduqlarını göstərmək üçün disallow yolları əlavə edirlər.
Məsələn, standart məzmun idarəetmə sistemi üçün tipik konfiqurasiya sistem yollarını bloklayarkən əsas XML sayt xəritəsinə işarə etməyi əhatə edir. Budur, tipik hesab quraşdırmasında istifadə olunan standart nümunə:
- User-agent: *
- Disallow: /wp-admin/
- Allow: /wp-admin/admin-ajax.php
- Sitemap: https://www.example.com/sitemap.xml
Hər bir qayda sətrini yoxlamaq bütün parseri pozan sintaksis səhvlərinin qarşısını alır. Əgər disallow qaydasında yazım səhvi varsa və ya mövcud olmayan qovluğa işarə edirsə, krolerlər qaydanı tamamilə görməzdən gələ bilər və ya onu çox geniş şərh edərək səhvən kök qovluğu bloklaya bilər.
Niyə Robots.txt səhifələri gizlətmək üçün kifayət deyil?
Həssas məlumatları qorumaq üçün yalnız kroler bloklama fayllarına etibar etmək yalançı təhlükəsizlik hissi yaradır. Axtarış motorları digər veb saytlar ona keçid etdikdə URL-i indeksləşdirə bildiyi üçün, şəxsi sənədlər və ya sınaq mühitləri kəşf edilməyə qarşı həssas qalır. Google-un sənədlərində qeyd olunur ki, robots.txt direktivləri axtarış motoru krolerlərinə saytınızdakı hansı URL-lərə daxil ola biləcəklərini bildirir, lakin bu, veb səhifəni Google-dan kənarda saxlamaq üçün bir mexanizm deyil. Şəxsi aktivləri qorumaq düzgün autentifikasiya sistemləri, HTTP status başlıqları və ya HTML sənədinə daxil edilmiş etibarlı noindex meta teqləri tələb edir.
Elektron ticarət platformasının məxfi məhsul səhifəsini siyahıya aldığı və onu robots.txt vasitəsilə blokladığı bir ssenarini nəzərdən keçirin. Əgər populyar sənaye bloqu birbaşa həmin məhsul səhifəsinin URL-inə keçid edərsə, axtarış motoru URL-i öz verilənlər bazasında qeyd edəcək. Kroler robots.txt bloku səbəbindən səhifəyə daxil ola bilmədiyi üçün başlığı və ya məhsul təsvirini oxuya bilmir, lakin xam URL hələ də axtarış nəticələrində məhdud giriş haqqında ümumi xəbərdarlıqla görünür.
Robots.txt konfiqurasiyanızı necə test edə bilərsiniz?
Canlı veb sayta dəyişikliklər etməzdən əvvəl kroler qaydalarını yoxlamaq fəlakətli indeksləmə düşüşlərinin qarşısını alır. Böyük axtarış motorlarının veb-master alətləri administratorların fayl məzmununu yapışdıra və xüsusi URL-ləri qaydalara qarşı qiymətləndirə biləcəyi xüsusi test kommunal xidmətləri təqdim edir. Validatora hədəf URL daxil etmək, seçilmiş user-agent-in resursu əldə etmək icazəsinin olub-olmadığını dərhal göstərir.
Etibarlı test iş axını yerləşdirmədən əvvəl mütləq təhlükəsizliyə zəmanət vermək üçün ciddi addımlar ardıcıllığını izləyir:
- Yenilənmiş fayl məzmununu zəngin mətn formatı olmadan sadə mətn redaktorunda hazırlayın.
- İlkin yoxlamalar üçün faylı sınaq mühitinə və ya müvəqqəti qovluğa yükləyin.
- Əsas URL növləri üzrə kroler sorğularını simulyasiya etmək üçün rəsmi axtarış konsolu test alətlərindən istifadə edin.
- Faylı kök domen qovluğuna yerləşdirin (məsələn, domain.com/robots.txt).
- Canlı URL-i standart brauzer pəncərəsində ziyarət edərək ictimai əlçatanlığı yoxlayın.
Bu yoxlama addımlarını izləmək yüksək konvertasiya olunan açılış səhifələrində və ya kateqoriya strukturlarında təsadüfi bloklama riskini minimuma endirir.
Ən çox yayılmış konfiqurasiya səhvləri hansılardır?
Kroler istisna fayllarındakı texniki səhvlər çox vaxt yol uyğunluğu qaydalarını və simvol həssaslığını yanlış başa düşməkdən qaynaqlanır. Axtarış motorları yollara ciddi böyük-kiçik hərf həssaslığı ilə yanaşır, yəni /Products/ bloklayan qayda avtomatik olaraq /products/ bloklamayacaq. Digər tez-tez rast gəlinən səhv, parseri çaşdıran sintaksis şərhlərinin və ya yanlış joker simvolların yerləşdirilməsini əhatə edir ki, bu da krolerlərin standart olaraq tam sayt girişinə və ya tam sayt bloklanmasına keçməsinə səbəb olur.
| Konfiqurasiya Səhvi | Potensial Təsir | Düzgün Yanaşma |
|---|---|---|
| Disallow: / ilə kökü bloklamaq | Bütün veb sayt zamanla axtarış motoru indeksləməsindən yoxa çıxır. | Slişi silin və ya bloklanacaq dəqiq qovluqları göstərin. |
| XML sayt xəritəsi keçidini buraxmaq | Krolerlərin yeni dərc edilmiş məzmunu kəşf etməsi daha çox vaxt aparır. | Həmişə alt hissəyə mütləq sayt xəritəsi URL-ini daxil edin. |
| Məxfilik üçün robots.txt istifadə etmək | Həssas URL-lər xarici daxil olan keçidlər vasitəsilə indekslənir. | HTTP autentifikasiyasından və ya düzgün noindex teqlərindən istifadə edin. |
Bu müqayisə cədvəlini nəzərdən keçirmək texniki auditorlara sayt miqrasiyaları və ya rutin SEO yoxlamaları zamanı təkrarlanan nümunələri aşkar etməyə kömək edir.
Alien Road Texniki SEO Auditlərini necə tətbiq edir?
Müştəri kampaniyalarını idarə edərkən, Alien Road texniki infrastruktura strukturlaşdırılmış kəşf və yoxlama mərhələləri ilə yanaşır. Məsələn, elektron ticarət brendi üçün tipik hesab əlaqəsində audit axtarış botlarının mövcud qovluq strukturları ilə necə qarşılıqlı əlaqədə olduğunu görmək üçün server log fayllarını təhlil etməklə başlayır. Məsləhətçilər krol büdcələrinin sonsuz çoxşaxəli naviqasiya yollarına və ya artıq parametr kombinasiyalarına sərf olunmamasını təmin etmək üçün kök qovluq konfiqurasiyasını yoxlayırlar.
Kəşf mərhələsindən sonra komanda dəqiq sintaksis qaydalarını tətbiq etmək üçün daxili inkişaf şöbələri ilə əməkdaşlıq edir. Hər bir dəyişiklik istehsal yerləşdirilməsindən əvvəl sınaq mühitlərində ciddi sınaqdan keçirilir. Nəhayət, axtarış konsolu performans hesabatları vasitəsilə davamlı monitorinq, indeks əhatə dairəsinin sabit qalmasını təmin edərkən, üzvi görünürlüyün hədəf axtarış sorğuları üzrə davamlı olaraq artmasını təmin edir.
Tez-tez verilən suallar
Robots.txt səhifələri Google axtarış nəticələrindən silirmi?
Xeyr, o, yalnız krolerlərin URL məzmununu əldə etməsini bloklayır. Əgər xarici keçidlər bloklanmış ünvana işarə edərsə, URL hələ də təsviri fraqmentlər olmadan axtarış nəticələrində görünə bilər.
Robots.txt faylı harada yerləşdirilməlidir?
Fayl domeninizin kök qovluğunda yerləşməli və axtarış botlarının onu tapması üçün yourdomain.com/robots.txt kimi standart URL yolu vasitəsilə əlçatan olmalıdır.
Robots.txt qaydaları böyük-kiçik hərfə həssasdırmı?
Bəli, axtarış motorları yol spesifikasiyalarına ciddi böyük-kiçik hərf həssaslığı ilə yanaşır. Böyük hərflə yazılmış qovluqları hədəfləyən qayda serverdəki kiçik hərflə yazılmış URL yollarına təsir etməyəcək.
Digərlərinə icazə verərkən xüsusi krolerləri necə bloklaya bilərəm?
Siz qlobal ulduz işarəsindən istifadə etmək əvəzinə, hər bir xüsusi bot adının altında fərqli disallow və allow direktivləri təyin edərək, eyni faylda bir neçə user-agent bloku müəyyən edə bilərsiniz.
Oxumağa davam edin: SEO (Axtarış Motorunun Optimallaşdırılması) · SEO