Siz server səviyyəsində parol mühafizəsini tətbiq etməklə, noindex meta teqindən istifadə etməklə və ya 401/403 HTTP cavab statusu göndərməklə staging saytını Google axtarış nəticələrindən silə bilərsiniz. Əgər səhifələr artıq indekslənibsə, Google Search Console-da müvəqqəti URL silmə sorğusunu staging domenində daimi noindex teqi və ya autentifikasiya məhdudiyyəti ilə birləşdirməlisiniz.
Axtarış sistemləri niyə staging mühitlərini indeksləyir?
Googlebot test domeninizə və ya alt domeninizə aparan birbaşa hiperlink tapdıqda axtarış sistemləri staging mühitlərini indeksləyir. Tərtibatçılar tez-tez qurulma mərhələlərində ictimai repozitoriyalarda, layihə idarəetmə platformalarında, sosial şəbəkələrdə və ya icma forumlarında linklər yerləşdirirlər. Əgər bu test domenlərində düzgün giriş nəzarəti yoxdursa, axtarış botları onları yeni veb saytlar kimi qəbul edir, onları tarayır və avtomatik olaraq axtarış indeksinə əlavə edir.
Test saytları tez-tez mətn, şəkillər və daxili keçid strukturları daxil olmaqla, canlı istehsal saytlarını sətir-sətir əks etdirir. Google hər iki versiyanı indekslədikdə, biznesiniz dublikat məzmun qarışıqlığından əziyyət çəkir. Googlebot brend sorğuları üçün hansı URL-in reytinqə sahib olmalı olduğunu müəyyən etməkdə çətinlik çəkir, bu da üzvi axtarış trafikinin istehsal və staging mühitləri arasında bölünməsinə səbəb olur.
Məsələn, shop.example.com-da fəaliyyət göstərən bir Shopify mağazası dev.example.com-da staging saytı qura bilər. Əgər ictimai GitHub repozitoriyasından gələn daxili keçid Googlebot-u dev.example.com-a yönəldirsə, bot məhsul kataloqunu hər iki alt domendə indeksləyir. Xüsusi məhsullar axtaran üzvi axtarış istifadəçiləri ödəniş şlüzlərinin deaktiv edildiyi dev.example.com-a düşə bilər ki, bu da satışların itirilməsinə və zəif istifadəçi təcrübəsinə səbəb olur.
Birbaşa keçidlərdən əlavə, avtomatlaşdırılmış server alətləri və domen qeydiyyatçıları bəzən ictimai SSL sertifikatlarını Sertifikat Şəffaflığı jurnalları kimi tanınan ictimai jurnallarda qeyd edirlər. Axtarış botları yeni host adlarını avtomatik aşkar etmək üçün bu jurnalları izləyir. Əgər test.example.com üçün dərhal autentifikasiya nəzarəti olmadan yeni SSL sertifikatı yaradılarsa, botlar inkişaf işləri bitməmişdən əvvəl alt domeni tapa və indeksləyə bilər.
Test saytları indekslənmiş vəziyyətdə qaldıqda hansı risklər yaranır?
İnkişaf mühitini axtarış sistemlərində görünən vəziyyətdə saxlamaq biznesiniz üçün bir sıra əməliyyat və texniki təhlükəsizlik riskləri yaradır. Birincisi, potensial müştərilər yarımçıq veb səhifələri, işləməyən naviqasiya düymələrini və ya boş yer tutan mətnləri kəşf edə bilərlər. Bu təcrübə müştəri etibarını zədələyir, lazımsız dəstək sorğuları yaradır və ümumi brend etibarını sarsıdır.
İkincisi, staging saytları tez-tez məxfi şirkət məlumatlarını, buraxılmamış məhsulları, qaralama bloq yazılarını və ya oxuna bilən mənbə fayllarında saxlanılan API etimadnamələrini ehtiva edir. Bu alt domenləri ifşa etmək rəqiblərə qarşıdan gələn xüsusiyyətləri yoxlamağa imkan verir və ya pis niyyətli şəxslərə təhlükəsizlik yamaları istehsal mühitinə çatmazdan əvvəl məlum proqram boşluqlarından istifadə etməyə şərait yaradır.
Üçüncüsü, tarama büdcəsi minlərlə lazımsız test URL-lərinə sərf olunur. Googlebot server resurslarını staging URL-lərini emal etməyə sərf etdikdə, o, əsas domeninizdə yeni məhsullar, yenilənmiş məqalələr və ya əsas açılış səhifələrini tapmağa daha az enerji sərf edir. Bu problem əsas biznes saytınızdakı yeni məzmunun indekslənməsini ləngidir.
Staging saytlarını bloklamaq üçün effektiv texniki üsullar
Botun girişinin qarşısını almaq infrastrukturunuza və server quraşdırmanıza uyğun texniki nəzarət üsullarının seçilməsini tələb edir. Hər bir üsul, ilkin kəşfin qarşısını almaq və ya test mühitlərində mövcud indeksləşdirməni təmizləmək ehtiyacınızdan asılı olaraq fərqli müdafiə qatları təklif edir.
- HTTP Əsas Autentifikasiya: İstifadəçilərdən istifadəçi adı və parol tələb etmək, səlahiyyətli komanda üzvlərinə etibarlı etimadnamələr vasitəsilə giriş imkanı verərkən, bütün axtarış sistemi botlarını tamamilə dayandırır.
- Noindex Meta Teqi: HTML baş hissəsinə yerləşdirmək axtarış sistemi botlarına səhifəni indeksləməməyi və ya daxili keçidləri izləməməyi bildirir.
- IP Ünvanı Ağ Siyahısı: Server girişini xüsusi ofis və ya virtual şəxsi şəbəkə IP ünvanları ilə məhdudlaşdırmaq kənar trafikin və axtarış botlarının girişini tamamilə bloklayır.
- X-Robots-Tag HTTP Cavab Başlığı: Veb serverdən birbaşa noindex HTTP başlığını qaytarmaq həm HTML səhifələrində, həm də PDF faylları və ya şəkillər kimi qeyri-HTML aktivlərində işləyir.
Bir çox tərtibatçı indeksləşdirmənin qarşısını almaq üçün robots.txt faylından istifadə etməyə çalışır, lakin bu yanaşma əhəmiyyətli risk daşıyır. robots.txt-dəki disallow direktivi Googlebot-a URL-i taramamağı bildirir, lakin xarici keçidlər ona işarə edərsə, bu, Google-un URL-i indeksləməsinin qarşısını almır. Əgər Google yalnız robots.txt tərəfindən bloklanmış səhifəni indeksləyərsə, axtarış fraqmenti səhifə məzmunu detalları olmadan göstərilir, lakin URL axtarış nəticələrində görünən qalır. Buna görə də, robots.txt heç vaxt şəxsi staging mühitləri üçün əsas təhlükəsizlik sərhədiniz kimi xidmət etməməlidir.
Parol mühafizəsi və noindex teqləri arasında seçim edərkən, parol mühafizəsi daha güclü ümumi təhlükəsizlik təmin edir. Parol sorğusu axtarış sistemi botlarının, icazəsiz ziyarətçilərin və zərərli skriptlərin səhifə məzmununu görməsinin və ya əsas kod strukturlarını yoxlamasının qarşısını tamamilə alır.
Artıq indekslənmiş staging saytını necə silmək olar
Əgər staging domeniniz artıq Google axtarış nəticələrində görünürsə, həmin URL-ləri tamamilə silmək üçün dərhal hədəflənmiş tədbirlər görməlisiniz. Silinmə prosesi iki fərqli mərhələdən ibarətdir: axtarış nəticələrindən dərhal müvəqqəti silinmə və veb serverdə uzunmüddətli indeks təmizlənməsi.
Birincisi, bütün staging mühitində noindex teqini və ya HTTP autentifikasiyasını tətbiq edin. Əgər noindex meta teqinə güvənirsinizsə, səhifələrin axtarış botları tərəfindən əlçatan qaldığından əmin olun, çünki Googlebot direktivi oxumaq və URL-i indeksdən silmək üçün səhifəni bir daha taramalıdır.
Sonra, domen mülkiyyətiniz üçün Google Search Console-a daxil olun və İndeksləmə menyusu bölməsi altında Silinmələr alətinə keçin. staging.example.com kimi bütün staging alt domen prefiksi üçün müvəqqəti silmə sorğusu göndərin. Bu hərəkət Googlebot sonrakı tarama dövrlərində daimi noindex başlığını emal edərkən URL-ləri saatlar ərzində axtarış nəticələrindən təmizləyir.
Əksər insanlar səhifələrinin indekslənməsinə diqqət yetirsə də, bəzən əksini etmək vacibdir: məzmunun Axtarışda görünməsinin qarşısını almaq.
Google Search Central
Alien Road bunu müştəri layihələrində necə tətbiq edir
Komandamız Alien Road müştəri veb saytlarının miqrasiyası və ya xüsusi proqram təminatının hazırlanması üçün texniki infrastrukturu idarə edərkən, biz test mühitlərini ilkin quraşdırmadan etibarən təcrid edirik. Biz hər hansı kodu ictimai serverlərə göndərməzdən əvvəl staging domenlərini ciddi şəbəkə firewall-ları və avtomatlaşdırılmış parol qapıları arxasında konfiqurasiya edirik.
- İlkin server təminatı zamanı bütün qeyri-istehsal alt domenlərində HTTP əsas autentifikasiyasını yerləşdirin.
- Bütün qeyri-istehsal veb server cavablarında noindex və nofollow HTTP başlıqlarını avtomatik daxil edin.
- Təsadüfi ifşaları tutmaq üçün avtomatlaşdırılmış monitorinq skriptlərindən istifadə edərək alt domen indeksləşməsini həftəlik yoxlayın.
- Gözlənilməz ifşa baş verərsə, dərhal Google Search Console-da sayt prefiksinin silinməsi sorğularını göndərin.
Müştəri işləri zamanı biz həmçinin staging mühitlərinin heç vaxt canlı istehsal mühitlərinə staging kanonik teqləri göndərməməsini təmin etmək üçün xüsusi cavab başlıqlarını konfiqurasiya edirik. Məsələn, WordPress və ya WooCommerce miqrasiyasını əhatə edən tipik bir layihədə, canlı yerləşdirmə zamanı yanlış indeksləşdirmə siqnallarının ötürülməməsi üçün kanonik teqləri ciddi şəkildə əsas domenə xəritələyirik.
Google, sayt sahiblərinə Google-un axtarış nəticələrində nələrin göründüyünə nəzarət etməyə imkan verən müxtəlif yolları dəstəkləyir.
Google Search Central
Staging səhifələrinin gizli qaldığını necə yoxlamaq olar?
Daimi yoxlama texniki müdafiənizin davam edən inkişaf dövrləri zamanı aktiv qalmasını təmin edir. Davamlı inteqrasiya boru kəmərləri bəzən kod yerləşdirmələri zamanı server konfiqurasiya fayllarını əvəz edir və ya meta teq direktivlərini silir, bu da təkrarlanan yoxlamanı texniki SEO sağlamlığı üçün vacib edir.
Gizli brauzer pəncərəsini açın və site:staging.example.com operatorundan istifadə edərək axtarış sorğusu yerinə yetirin. Əgər sorğu sıfır axtarış nəticəsi verirsə, staging domeniniz axtarış sistemlərindən uğurla gizlədilib. Əgər səhifələr axtarış nəticələri siyahısında görünürsə, konfiqurasiya pozulmasının harada baş verdiyini tapmaq üçün brauzer tərtibatçı alətlərindən istifadə edərək HTTP cavab başlıqlarını və HTML mənbə kodunu yoxlayın.
Bundan əlavə, Google Search Console daxilində Səhifə İndeksləmə hesabatını nəzərdən keçirin. Staging alt domenlərinin ‘Noindex teqi ilə xaric edilib’ və ya ‘Parol ilə səhifə tərəfindən bloklanıb’ kimi səbəblərlə siyahıya alındığını təsdiqləmək üçün ‘İndekslənməyib’ kateqoriyasını yoxlayın. Bu yoxlama addımı Google-un bloklama direktivlərinizi dəqiq tanıdığını təsdiqləyir.
Bu həftə haradan başlamaq lazımdır
Brendinizlə əlaqəli bütün məlum test alt domenləri və inkişaf mühitləri üçün site operator axtarışı aparmaqla başlayın. Parol autentifikasiyasının və ya açıq noindex HTTP başlıqlarının hər bir qeyri-istehsal URL-ini əhatə etdiyini təsdiqləmək üçün veb server konfiqurasiyalarınızı yoxlayın. Əgər Google axtarış nəticələrində indekslənmiş test səhifələri tapsanız, bu gün Google Search Console-da müvəqqəti silmə sorğusu göndərin və staging kod bazanızda noindex meta teqlərinin mövcud olduğunu yoxlayın.