Dev ve staging sitelerini Googlebot’tan, test sunucunuzun kök dizinine belirli disallow yönergeleri içeren bir robots.txt dosyası yerleştirerek engellersiniz. Bu dosya, arama motoru tarayıcıları için bir dizi talimat görevi görür ve onlara tanımlanan yolları atlamalarını söyler. Bu, tarayıcı trafiğini yönetse de, bir URL’nin arama sonuçlarından tamamen uzak kalacağını garanti etmez. Tam gizliliğe ulaşmak için, test çalışmanızın gizli kalmasını sağlamak amacıyla bu yöntemi sunucu tarafı kimlik doğrulaması veya noindex etiketleriyle birleştirmeniz gerekir.
Bir robots.txt dosyasının birincil işlevi nedir?
Bir robots.txt dosyası, web sunucunuz ile arama motoru botları arasında bir iletişim kanalı görevi görür. Etki alanınızın kök dizininde bulunan basit bir metin dosyasıdır. Temel işi, otomatik tarayıcılar için sınırlar tanımlamak, dahili arama sonuçları veya geçici yönetici klasörleri gibi işleme gerektirmeyen site alanlarınızı ziyaret etmelerini önlemektir.
Bir robots.txt dosyası, web sunucunuz ile arama motoru botları arasında bir iletişim kanalı görevi görür.
Google Search Central
Bu dosyayı etkili bir şekilde kullanarak sunucu kaynaklarınızı yönetirsiniz. Bir bot, bir e-ticaret sitesindeki parametreleri filtreleyerek oluşturulan binlerce dinamik URL’yi taramaya çalışırsa, sunucu yüksek gecikme yaşayabilir. Robots.txt, tarayıcıyı önemli olan içeriğe odaklanmış tutar ve sitenizin insan ziyaretçiler için duyarlı kalmasını sağlar. Büyük web siteleriyle uğraşırken sunucu performansı önemli bir endişedir. Sunucunuz Google’dan gelen istek hacmini yönetmekte zorlanıyorsa, tarayıcıların kaynak yoğun komut dosyalarına ulaşmasını önlemek için robots.txt kullanabilirsiniz. Bu, tarama bütçesinin en önemli sayfalara ayrılmasını sağlar.
Neden robots.txt sayfaları Google’dan uzak tutmak için yetersizdir?
Bir robots.txt dosyası, arama motoru tarayıcıları için sitenizin hangi bölümlerini ziyaret etmeleri gerektiğine dair bir dizi talimat görevi görür. Ancak, başka bir site doğrudan staging ortamınızdaki bir sayfaya bağlantı verirse, tarayıcının erişimini engellemiş olsanız bile Google URL’yi yine de indeksleyebilir. Tarayıcı, içeriği okuyamasa bile harici bağlantı nedeniyle sayfanın var olduğunu bilebilir.
robots.txt gönüllü bir protokol olduğundan, bazı botlar onu tamamen görmezden gelebilir. Staging ortamınız hassas müşteri verileri içeriyorsa, bir metin dosyasına güvenmek önemli bir risktir.
Google Search Central
Geliştiricilerin bir disallow kuralının güvenlik duvarı görevi gördüğüne yanlışlıkla inandıklarını sık sık görüyoruz; gerçekte, sadece uyumlu tarayıcılara belirli yollardan kaçınmalarını söyler. Bir sayfa zaten indekslenmişse, robots.txt dosyanızı değiştirmek onu arama sonuçlarından kaldırmayacaktır. Bu nedenle staging güvenliği için çok katmanlı bir strateji gereklidir. Hassas veriler için yalnızca robots.txt’ye güvenmek teknik planlamada kritik bir hatadır.
Bir staging ortamını nasıl düzgün bir şekilde güvence altına alabilirsiniz?
Geliştirme ortamınızın gizli kalmasını sağlamak için güvenlik yöntemlerinizi üst üste koymalısınız. Yalnızca bir yaklaşım kullanmak, otomatik tarayıcıların yararlanabileceği boşluklar bırakır. Staging sitenizi kazara indekslemeye karşı güçlendirmek için şu teknik adımları izleyin:
- Sunucu düzeyinde parola koruması (Basic Auth) uygulayın, böylece yalnızca yetkili ekip üyeleri içeriği görebilir.
- Google için ikincil bir sinyal olarak staging sayfalarınızın HTML başlığına bir noindex meta etiketi ekleyin.
- Site testi sırasında halka açık olmayan varlıklarda tarama bütçesi israfını önlemek için robots.txt kullanın.
- Kazara keşfi önlemek için üretim site haritanızın hiçbir staging URL’si içermediğinden emin olun.
- Yalnızca ajansınıza veya ofis ağınıza izin vermek için IP beyaz listesi aracılığıyla erişimi kısıtlayın.
Bu katmanları eklemek, bir tarayıcı bir sinyali görmezden gelse bile diğerinin görünürlüğü engelleyeceğinden emin olmanızı sağlar. Örneğin, bir botu robots.txt aracılığıyla engellemeyi unutursanız, sunucu düzeyindeki kimlik doğrulama yine de botun sayfa içeriğini okumasını önleyecektir. Bu, profesyonel site bütünlüğünü korumak için standart bir uygulamadır.
Alien Road bunu nasıl uygular
Alien Road’da, staging sitelerini içeren her müşteri projesi için standart bir güvenlik protokolü izliyoruz. İlk geliştirme aşamasında, sunucuyu IP beyaz listesini kullanarak tüm harici erişimi engelleyecek şekilde yapılandırıyoruz. Dahili testlerimiz için, staging ortamlarımızı genel arama görünürlüğünden uzak tutmak için robots.txt’nin disallow-all yönergesiyle doldurulduğundan emin oluyoruz.
- Canlıya geçmeden önce her yeni geliştirme ortamı için robots.txt dosyalarının tam denetimini yapın.
- Kodu staging’e taşımadan önce her sayfa şablonunda noindex etiketi yerleşimini doğrulayın.
- Üretim dağıtımından önce geliştirmeye özel ortam değişkenlerini ve geçici API anahtarlarını kaldırın.
- Resmi site lansmanında site: operatörünü kullanarak genel arama görünürlüğünün son kontrolünü gerçekleştirin.
- Geliştirme alt alan adlarının beklenmedik indekslenmesi için Google Search Console’u izleyin.
Tipik bir çalışma için, bu ayarları dahili proje yönetimi aracımızda belgeliyoruz. Bu, hiçbir mühendisin kazara bir staging ortamını genel tarayıcılara açık bırakmamasını sağlar. Bu ayarları en başından yöneterek, staging içeriği üretim arama sonuçlarına sızdığında ortaya çıkan yaygın sorunları önlüyoruz. Yaklaşımımız, müşteri verilerinin geliştirme yaşam döngüsü boyunca korunmasını sağlar.
Staging siteniz zaten indekslenmişse ne yapmalı?
Staging sitenizin arama sonuçlarında göründüğünü keşfederseniz, izi temizlemek için derhal harekete geçmelisiniz. İlk olarak, tüm sayfalara bir noindex meta etiketi uyguladığınızdan emin olun. Ardından, bu sayfaların Google arama sonuçlarından kaldırılmasını talep etmek için Google Search Console’daki URL kaldırma aracını kullanın.
Kaldırma talep edildikten sonra, staging sitenizi parola korumalı tutun. Bu, Google’ın içeriği yeniden taramasını ve indekslemesini önler. Search Console hesabınızın tutarlı bir şekilde izlenmesi, bu URL’lerin dizinden başarıyla kaldırıldığını doğrulayacak ve genel sızıntılar hakkında endişelenmeden geliştirme döngünüze odaklanmanıza olanak tanıyacaktır.
Bu hafta nereden başlamalı
Mevcut staging alan adınızdaki robots.txt dosyasını kontrol ederek başlayın. Tarayıcılara açık olduğunu fark ederseniz, disallow kuralını hemen güncelleyin ve staging sitenizin Google aramasında görünüp görünmediğini doğrulayın. Görünüyorsa, önbelleği temizlemek için Google Search Console’daki URL kaldırma aracını kullanın, ardından tekrar görünmesini önlemek için bir noindex başlığı uygulayın.
Hangi botların siteye eriştiğini görmek için sunucu günlüklerinizi inceleyin. Bu, görünürlüğün kapsamını anlamanıza yardımcı olacaktır. Birden fazla arama botu bulursanız, yalnızca Googlebot için değil, her biri için bir robots.txt dosyası eklediğinizden emin olun. Bu dosyaların proaktif yönetimi ortamınızı temiz ve güvenli tutar.