Siz dev və staging saytlarını test serverinizin kök qovluğuna xüsusi disallow direktivləri olan robots.txt faylı yerləşdirməklə Googlebot-dan bloklayırsınız. Bu fayl axtarış sistemi botları üçün təlimatlar toplusu kimi çıxış edir və onlara müəyyən edilmiş yolları keçməyi tapşırır. Bu, bot trafikini idarə etsə də, URL-in axtarış nəticələrindən tamamilə kənarda qalacağına zəmanət vermir. Tam məxfiliyə nail olmaq üçün, test işinizin gizli qalmasını təmin etmək üçün bu metodu server tərəfində autentifikasiya və ya noindex etiketləri ilə birləşdirməlisiniz.
Robots.txt faylının əsas funksiyası nədir?
Robots.txt faylı veb serveriniz və axtarış sistemi botları arasında əlaqə kanalı kimi xidmət edir. Bu, domeninizin kök qovluğunda yerləşən sadə mətn faylıdır. Onun əsas işi avtomatlaşdırılmış botlar üçün sərhədləri müəyyən etmək, daxili axtarış nəticələri və ya müvəqqəti admin qovluqları kimi emal tələb etməyən saytınızın sahələrinə baş çəkmələrinin qarşısını almaqdır.
Robots.txt faylı veb serveriniz və axtarış sistemi botları arasında əlaqə kanalı kimi xidmət edir.
Google Search Central
Bu fayldan effektiv istifadə etməklə siz server resurslarınızı idarə edirsiniz. Əgər bot e-ticarət saytında parametrləri filtrləməklə yaradılan minlərlə dinamik URL-i taramağa cəhd edərsə, server yüksək gecikmə ilə qarşılaşa bilər. Robots.txt botun diqqətini vacib olan məzmuna yönəldir və saytınızın insan ziyarətçilər üçün cavabdeh qalmasını təmin edir. Böyük veb saytlarla işləyərkən server performansı əsas narahatlıq doğurur. Əgər serveriniz Google-dan gələn sorğuların həcmini idarə etməkdə çətinlik çəkirsə, botların resurs tələb edən skriptlərə daxil olmasının qarşısını almaq üçün robots.txt-dən istifadə edə bilərsiniz. Bu, tarama büdcəsinin ən vacib səhifələrə ayrılmasını təmin edir.
Niyə robots.txt səhifələri Google-dan kənarda saxlamaq üçün kifayət deyil?
Robots.txt faylı axtarış sistemi botları üçün saytınızın hansı hissələrinə baş çəkməli olduqları barədə təlimatlar toplusu kimi çıxış edir. Bununla belə, başqa bir sayt birbaşa sizin staging mühitinizdəki səhifəyə keçid verərsə, Google botun ona daxil olmasını bloklasanız belə, URL-i yenə də indeksləyə bilər. Bot məzmunu oxuya bilməsə belə, xarici keçid səbəbindən səhifənin mövcud olduğunu bilə bilər.
Robots.txt könüllü protokol olduğu üçün bəzi botlar onu tamamilə görməzdən gələ bilər. Əgər staging mühitiniz həssas müştəri məlumatlarını ehtiva edirsə, mətn faylına etibar etmək ciddi riskdir.
Google Search Central
Biz tez-tez tərtibatçıların disallow qaydasının firewall kimi çıxış etdiyinə səhvən inandıqlarını görürük; reallıqda, o, yalnız uyğun botlara xüsusi yollardan qaçmağı tapşırır. Əgər səhifə artıq indekslənibsə, robots.txt faylınızı dəyişdirmək onu axtarış nəticələrindən silməyəcək. Buna görə də staging təhlükəsizliyi üçün çoxqatlı strategiya tələb olunur. Həssas məlumatlar üçün yalnız robots.txt-ə etibar etmək texniki planlaşdırmada kritik səhvdir.
Staging mühitini necə düzgün qorumaq olar?
İnkişaf mühitinizin gizli qalmasını təmin etmək üçün təhlükəsizlik üsullarınızı yığmalısınız. Yalnız bir yanaşmadan istifadə etmək avtomatlaşdırılmış botların istifadə edə biləcəyi boşluqlar buraxır. Staging saytınızı təsadüfi indeksləmədən qorumaq üçün bu texniki addımları izləyin:
- Yalnız səlahiyyətli komanda üzvlərinin məzmunu görə bilməsi üçün server səviyyəsində parol mühafizəsini (Basic Auth) tətbiq edin.
- Google üçün ikinci dərəcəli siqnal kimi staging səhifələrinizin HTML başlığına noindex meta etiketi əlavə edin.
- Sayt testi zamanı ictimai olmayan aktivlərə tarama büdcəsi israfının qarşısını almaq üçün robots.txt-dən istifadə edin.
- Təsadüfi kəşfin qarşısını almaq üçün istehsal sayt xəritənizin heç bir staging URL-i daxil etmədiyinə əmin olun.
- Yalnız agentliyinizə və ya ofis şəbəkənizə icazə vermək üçün IP ağ siyahısı vasitəsilə girişi məhdudlaşdırın.
Bu qatları əlavə etmək, bot bir siqnalı görməzdən gəlsə belə, digərinin görünürlüyü bloklayacağına əminlik yaradır. Məsələn, botu robots.txt vasitəsilə bloklamağı unutsanız, server səviyyəsində autentifikasiya botun səhifə məzmununu oxumasının qarşısını alacaq. Bu, peşəkar sayt bütövlüyünü qorumaq üçün standart təcrübədir.
Alien Road bunu necə tətbiq edir
Alien Road-da biz staging saytlarını əhatə edən hər bir müştəri layihəsi üçün standart təhlükəsizlik protokoluna əməl edirik. İlkin inkişaf mərhələsində biz serveri IP ağ siyahısından istifadə edərək bütün xarici girişi bloklamaq üçün konfiqurasiya edirik. Daxili sınaqlarımız üçün staging mühitlərimizi ictimai axtarış görünürlüyündən uzaq tutmaq üçün robots.txt-in disallow-all direktivi ilə doldurulduğundan əmin oluruq.
- Hər yeni inkişaf mühiti canlı yayımlanmazdan əvvəl robots.txt fayllarının tam auditini aparın.
- Kodu staging-ə köçürməzdən əvvəl hər səhifə şablonunda noindex etiketi yerləşdirilməsini yoxlayın.
- İstehsal yerləşdirmədən əvvəl inkişafa xas mühit dəyişənlərini və müvəqqəti API açarlarını silin.
- Rəsmi sayt istifadəyə verildikdə site: operatorundan istifadə edərək ictimai axtarış görünürlüyünün son yoxlanışını həyata keçirin.
- Dev alt domenlərinin gözlənilməz indekslənməsi üçün Google Search Console-u izləyin.
Tipik bir iş üçün biz bu parametrləri daxili layihə idarəetmə alətimizdə sənədləşdiririk. Bu, heç bir mühəndisin təsadüfən staging mühitini ictimai botlara açıq qoymamasını təmin edir. Bu parametrləri əvvəldən idarə etməklə, staging məzmunu istehsal axtarış nəticələrinə sızdıqda yaranan ümumi problemlərin qarşısını alırıq. Bizim yanaşmamız müştəri məlumatlarının inkişaf dövrü boyu qorunmasını təmin edir.
Staging saytınız artıq indekslənibsə nə etməli?
Staging saytınızın artıq axtarış nəticələrində göründüyünü aşkar etsəniz, izi təmizləmək üçün dərhal tədbir görməlisiniz. Əvvəlcə bütün səhifələrə noindex meta etiketi tətbiq etdiyinizə əmin olun. Sonra, bu səhifələrin Google axtarış nəticələrindən silinməsini tələb etmək üçün Google Search Console-da URL silmə alətindən istifadə edin.
Silinmə tələb edildikdən sonra staging saytınızı parolla qoruyun. Bu, Google-un məzmunu yenidən taramasını və indeksləməsini dayandırır. Search Console hesabınızın ardıcıl monitorinqi bu URL-lərin indeksdən uğurla silindiyini təsdiqləyəcək və ictimai sızmalardan narahat olmadan inkişaf dövrünüzə diqqət yetirməyə imkan verəcək.
Bu həftə haradan başlamaq lazımdır
Cari staging domeninizdəki robots.txt faylını yoxlamaqla başlayın. Onun botlar üçün açıq olduğunu görsəniz, disallow qaydasını dərhal yeniləyin və staging saytınızın artıq Google-da görünüb-görünmədiyini yoxlayın. Əgər görünürsə, keş-i təmizləmək üçün Google Search Console-da URL silmə alətindən istifadə edin, sonra onun yenidən görünməsinin qarşısını almaq üçün noindex başlığı tətbiq edin.
Hansı botların sayta daxil olduğunu görmək üçün server qeydlərinizi nəzərdən keçirin. Bu, görünürlük dərəcəsini anlamağa kömək edəcək. Əgər bir neçə axtarış botu tapsanız, yalnız Googlebot üçün deyil, hər biri üçün robots.txt faylı əlavə etdiyinizə əmin olun. Bu faylların proaktiv idarə edilməsi mühitinizi təmiz və təhlükəsiz saxlayır.