Bir staging sitesini Google arama sonuçlarından, sunucu düzeyinde parola koruması uygulayarak, noindex meta etiketi kullanarak veya 401/403 HTTP yanıt durumu göndererek kaldırırsınız. Sayfalar zaten dizine eklenmişse, Google Search Console’da geçici bir URL kaldırma isteğini, staging alan adındaki kalıcı bir noindex etiketi veya kimlik doğrulama kısıtlamasıyla birleştirmeniz gerekir.
Arama motorları neden staging ortamlarını dizine ekler?
Arama motorları, Googlebot test alan adınıza veya alt alan adınıza giden doğrudan bir köprü bulduğunda staging ortamlarını dizine ekler. Geliştiriciler genellikle oluşturma aşamalarında herkese açık depolarda, proje yönetimi platformlarında, sosyal ağlarda veya topluluk forumlarında bağlantılar yayınlarlar. Bu test alan adlarında uygun erişim kontrolleri yoksa, arama tarayıcıları bunları yeni web siteleri olarak ele alır, tarar ve otomatik olarak arama dizinine ekler.
Test siteleri genellikle metin, görseller ve dahili bağlantı yapıları dahil olmak üzere canlı üretim sitelerini satır satır yansıtır. Google her iki sürümü de dizine eklediğinde, işletmeniz kopya içerik karmaşasından zarar görür. Googlebot, marka sorguları için hangi URL’nin sıralanması gerektiğini belirlemekte zorlanır ve bu da organik arama trafiğinin üretim ve staging ortamları arasında bölünmesine neden olur.
Örneğin, shop.example.com üzerinde çalışan bir Shopify mağazası, dev.example.com’da bir staging sitesi oluşturabilir. Halka açık bir GitHub deposundan gelen dahili bir bağlantı Googlebot’u dev.example.com’a yönlendirirse, tarayıcı ürün kataloğunu her iki alt alanda da dizine ekler. Belirli ürünleri arayan organik arama kullanıcıları, ödeme ağ geçitlerinin devre dışı bırakıldığı dev.example.com’a düşebilir, bu da satışların terk edilmesine ve kötü kullanıcı deneyimine yol açar.
Doğrudan bağlantılara ek olarak, otomatik sunucu araçları ve alan adı kayıt kuruluşları bazen genel SSL sertifikalarını Sertifika Şeffaflığı günlükleri olarak bilinen genel günlüklerde günlüğe kaydeder. Arama tarayıcıları, yeni ana bilgisayar adlarını otomatik olarak keşfetmek için bu günlükleri izler. test.example.com için anında kimlik doğrulama kontrolleri olmadan yeni bir SSL sertifikası oluşturulursa, tarayıcılar geliştirme çalışmaları bitmeden alt alanı bulabilir ve dizine ekleyebilir.
Test siteleri dizine eklenmiş halde kaldığında hangi riskler oluşur?
Bir geliştirme ortamını arama motorlarında görünür bırakmak, işletmeniz için çeşitli operasyonel ve teknik güvenlik riskleri oluşturur. İlk olarak, potansiyel müşteriler bitmemiş web sayfalarını, bozuk gezinme düğmelerini veya yer tutucu metinleri keşfedebilir. Bu deneyim müşteri güvenine zarar verir, gereksiz destek talepleri oluşturur ve genel marka güvenilirliğini zayıflatır.
İkinci olarak, staging siteleri genellikle gizli şirket verilerini, yayınlanmamış ürünleri, taslak blog yazılarını veya okunabilir kaynak dosyalarında depolanan API kimlik bilgilerini içerir. Bu alt alan adlarını ifşa etmek, rakiplerin yaklaşan özellikleri incelemesine veya kötü niyetli aktörlerin güvenlik yamaları üretime ulaşmadan önce bilinen yazılım açıklarından yararlanmasına olanak tanır.
Üçüncüsü, tarama bütçesi binlerce gereksiz test URL’sine harcanır. Googlebot sunucu kaynaklarını staging URL’lerini işlemek için harcadığında, ana alan adınızdaki yeni ürünleri, güncellenmiş makaleleri veya temel açılış sayfalarını bulmak için daha az enerji harcar. Bu sorun, ana iş sitenizdeki yeni içeriğin dizine eklenmesini yavaşlatır.
Staging sitelerini engellemek için etkili teknik yöntemler
Tarayıcı erişimini önlemek, altyapınıza ve sunucu kurulumunuza uyan teknik kontrolleri seçmeyi gerektirir. Her yöntem, ilk keşfi önlemeniz veya test ortamlarındaki mevcut dizine eklemeyi temizlemeniz gerekip gerekmediğine bağlı olarak farklı koruma katmanları sunar.
- HTTP Temel Kimlik Doğrulaması: Kullanıcılardan bir kullanıcı adı ve parola istemek, tüm arama motoru tarayıcılarını tamamen durdururken, yetkili ekip üyelerinin geçerli kimlik bilgileriyle erişimine izin verir.
- Noindex Meta Etiketi: HTML head bölümünün içine yerleştirmek, arama motoru tarayıcılarına sayfayı dizine eklememelerini veya dahili bağlantıları takip etmemelerini söyler.
- IP Adresi Beyaz Listesi: Sunucu erişimini belirli ofis veya sanal özel ağ IP adresleriyle sınırlamak, dış trafiği ve arama tarayıcılarını tamamen engeller.
- X-Robots-Tag HTTP Yanıt Başlığı: Doğrudan web sunucusundan bir noindex HTTP başlığı döndürmek, hem HTML sayfalarında hem de PDF dosyaları veya görseller gibi HTML olmayan varlıklarda çalışır.
Birçok geliştirici dizine eklemeyi önlemek için bir robots.txt dosyası kullanmaya çalışır, ancak bu yaklaşım önemli risk taşır. robots.txt’deki bir disallow yönergesi Googlebot’a bir URL’yi taramaması gerektiğini söyler, ancak harici bağlantılar ona işaret ederse Google’ın URL’yi dizine eklemesini engellemez. Google yalnızca robots.txt tarafından engellenen bir sayfayı dizine eklerse, arama parçacığı sayfa içeriği ayrıntıları olmadan görüntülenir, ancak URL arama sonuçlarında görünür kalır. Bu nedenle, robots.txt asla özel staging ortamları için birincil güvenlik sınırınız olarak hizmet etmemelidir.
Parola koruması ve noindex etiketleri arasında seçim yaparken, parola koruması daha güçlü bir genel güvenlik sağlar. Bir parola istemi, arama motoru tarayıcılarının, yetkisiz ziyaretçilerin ve kötü amaçlı komut dosyalarının sayfa içeriğini görmesini veya temel kod yapılarını incelemesini tamamen engeller.
Zaten dizine eklenmiş bir staging sitesi nasıl kaldırılır
Staging alan adınız zaten Google arama sonuçlarında görünüyorsa, bu URL’leri tamamen kaldırmak için derhal hedeflenmiş eylemler almalısınız. Kaldırma işlemi iki farklı aşamayı içerir: arama sonuçlarından anında geçici kaldırma ve web sunucusunda uzun vadeli dizin temizliği.
İlk olarak, noindex etiketini veya HTTP kimlik doğrulamasını tüm staging ortamına uygulayın. noindex meta etiketine güveniyorsanız sayfaların arama tarayıcıları tarafından erişilebilir kaldığından emin olun, çünkü Googlebot’un yönergeyi okuması ve URL’yi dizinden kaldırması için sayfayı bir kez daha taraması gerekir.
Ardından, alan adı mülkünüz için Google Search Console’da oturum açın ve Dizin Oluşturma menüsü bölümünün altındaki Kaldırmalar aracına gidin. staging.example.com gibi tüm staging alt alan adı ön eki için geçici bir kaldırma isteği gönderin. Bu eylem, Googlebot sonraki tarama döngüleri sırasında kalıcı noindex başlığını işlerken URL’leri saatler içinde arama sonuçlarından temizler.
Çoğu insan sayfalarının dizine eklenmesine odaklansa da, bazen tam tersini yapmak önemlidir: içeriğin Arama’da görünmesini önlemek.
Google Search Central
Alien Road bunu müşteri projelerinde nasıl uygular
Alien Road’daki ekibimiz müşteri web sitesi geçişleri veya özel yazılım geliştirme için teknik altyapıyı yönettiğinde, test ortamlarını ilk kurulumdan itibaren izole ederiz. Herhangi bir kodu genel sunuculara göndermeden önce staging alan adlarını katı ağ güvenlik duvarları ve otomatik parola kapıları arkasında yapılandırırız.
- İlk sunucu tedariki sırasında tüm üretim dışı alt alan adlarında HTTP temel kimlik doğrulamasını dağıtın.
- Tüm üretim dışı web sunucusu yanıtlarına otomatik olarak noindex ve nofollow HTTP başlıklarını enjekte edin.
- Kazara ifşaları yakalamak için otomatik izleme komut dosyalarını kullanarak alt alan adı dizine eklemesini haftalık olarak denetleyin.
- İstenmeyen bir ifşa meydana gelirse, Google Search Console’da derhal site ön eki kaldırma istekleri gönderin.
Müşteri etkileşimleri sırasında, staging ortamlarının canlı üretim ortamlarına asla staging kanonik etiketleri göndermemesini sağlamak için özel yanıt başlıkları da yapılandırırız. Örneğin, bir WordPress veya WooCommerce geçişini içeren tipik bir projede, canlı dağıtım sırasında yanlış dizine ekleme sinyalleri göndermekten kaçınmak için kanonik etiketleri kesinlikle birincil alan adına eşleriz.
Google, site sahiplerinin Google’ın arama sonuçlarında nelerin görüneceğini kontrol etmelerine olanak tanıyan çeşitli yolları destekler.
Google Search Central
Staging sayfalarının gizli kaldığını nasıl doğrularsınız?
Düzenli doğrulama, geliştirme döngüleri ilerledikçe teknik korumalarınızın aktif kalmasını sağlar. Sürekli entegrasyon hatları bazen kod dağıtımları sırasında sunucu yapılandırma dosyalarının üzerine yazar veya meta etiketi yönergelerini kaldırır, bu da tekrarlayan doğrulamayı teknik SEO sağlığı için gerekli kılar.
Gizli bir tarayıcı penceresi açın ve site operatörünü kullanarak bir arama sorgusu çalıştırın: site:staging.example.com. Sorgu sıfır arama sonucu verirse, staging alan adınız arama motorlarından başarıyla gizlenmiştir. Sayfalar arama sonuçları listesinde görünürse, yapılandırma hatasının nerede oluştuğunu bulmak için tarayıcı geliştirici araçlarını kullanarak HTTP yanıt başlıklarını ve HTML kaynak kodunu inceleyin.
Ayrıca, Google Search Console içindeki Sayfa Dizin Oluşturma raporunu inceleyin. Staging alt alan adlarının ‘Noindex etiketiyle hariç tutuldu’ veya ‘Parolalı sayfa tarafından engellendi’ gibi nedenlerle listelendiğini doğrulamak için ‘Dizine eklenmedi’ kategorisini inceleyin. Bu doğrulama adımı, Google’ın engelleme yönergelerinizi doğru bir şekilde tanıdığını onaylar.
Bu hafta nereden başlamalı
Markanızla bağlantılı tüm bilinen test alt alan adları ve geliştirme ortamları için bir site operatörü araması çalıştırarak başlayın. Parola kimlik doğrulamasının veya açık noindex HTTP başlıklarının her üretim dışı URL’yi kapsadığını doğrulamak için web sunucusu yapılandırmalarınızı denetleyin. Google arama sonuçlarında dizine eklenmiş test sayfaları bulursanız, bugün Google Search Console’da geçici bir kaldırma isteği gönderin ve staging kod tabanınızın tamamında noindex meta etiketlerinin bulunduğunu doğrulayın.