Sunucunuzdan ‘noindex’ yönergesi içeren bir X-Robots-Tag HTTP başlığı göndererek PDF ve diğer HTML olmayan dosyaları Google Arama’dan kaldırabilirsiniz. Bu yöntem etkilidir çünkü botun dosyayı sunucunuzdan silmesine veya PDF gibi ikili formatlar için genellikle imkansız olan HTML koduyla değiştirmesine gerek kalmadan dosyayı dizinden düşürmesini sağlar.
Neden meta etiketler yerine X-Robots-Tag kullanmalısınız?
Meta etiketler bir web sayfasının HTML head bölümüne yerleştirilir. PDF dosyaları, resimler ve diğer HTML olmayan belgeler HTML yapısına sahip olmadığından, robots meta etiketi içeremezler. X-Robots-Tag, sayfa içeriğinden bağımsız olarak çalışan bir HTTP yanıt başlığıdır ve bu nedenle web sayfası olmayan varlıklar için standart çözümdür.
Bir arama botu bir URL’ye eriştiğinde, tam dosya içeriğini indirmeden önce sunucu tarafından döndürülen HTTP başlıklarını okur. Bu başlığı kullanarak, bot büyük bir PDF dosyasına bant genişliği harcamadan önce dizine ekleme niyetinizi iletirsiniz. Bu, özellikle binlerce eski belgesi olan siteler için yararlıdır, çünkü yalnızca ilgili HTML sayfalarının arama sonuçlarında görünmesini sağlarken tarama bütçenizi korur.
Ayrıca, bu yöntem robots.txt’ye güvenmekten daha temiz bir yaklaşım sağlar. Bir dosya robots.txt’de engellendiğinde, bot onu ziyaret edemez, yani ‘index’ veya ‘noindex’ talimatını göremez. Sonuç olarak, bir sayfa o PDF’e bağlantı verirse, PDF arama dizininde açıklamanın mevcut olmadığını belirten genel bir notla görünmeye devam edebilir. X-Robots-Tag kullanımı, Google’ın ‘noindex’ talimatını görmesine ve dosyayı dizinden tamamen ve doğru bir şekilde düşürmesine olanak tanır.
Örneğin, yüzlerce teknik rapor ve ürün spesifikasyon sayfası barındıran bir kurumsal web sitesini düşünün. Bu dosyalar korunmasız kalırsa, arama motorları gömülü bir PDF’i yeni güncellenmiş bir ürün açılış sayfasından daha öncelikli tutabilir. Sunucu düzeyinde yönergelerin uygulanması, organik trafiğin bu şekilde parçalanmasını önler.
X-Robots-Tag teknik düzeyde nasıl çalışır?
Bir bot bir dosya istediğinde, web sunucunuz bir HTTP yanıtı gönderir. Sunucunuzu (Apache veya Nginx gibi) X-Robots-Tag: noindex başlığını içerecek şekilde yapılandırarak, arama motoruna dosyayı sonuçlarda göstermemesini açıkça söylersiniz. Bu işlem, o URL’nin bir sonraki başarılı taramasında hemen gerçekleşir.
Başlık belirli dosya uzantıları, dizinler veya hatta belirli kullanıcı aracıları için yapılandırılabilir. Örneğin, bir dosyayı insanlar için erişilebilir tutmak ancak Google’dan gizlemek istiyorsanız, sunucu yapılandırmanızda hedef arama motorunu belirtebilirsiniz. Bu ayrıntı düzeyi, robots.txt dışlamalarının daha geniş ve kaba yaklaşımına kıyasla sitenizin farklı bölümlerinin nasıl dizine eklendiği üzerinde önemli bir kontrol sağlar.
Temel ağ el sıkışma sürecini anlamak hayati önem taşır. Web sunucusu, yükü teslim etmeden önce gelen istekleri yapılandırılmış kurallara göre değerlendirir. Kural eşleşirse, başlık yanıt paketine eklenir ve arama botu bunu TLS el sıkışma ve başlık inceleme aşamasında anında okur.
Yaygın yapılandırma zorlukları nelerdir?
Birçok geliştirici, içerik dağıtım ağları veya yerel önbelleğe alma katmanları özel HTTP yanıt başlıklarını sildiğinde sorun yaşar. Uç sunucunuz bir PDF yanıtını başlık olmadan önbelleğe alırsa, bu önbelleğe alınmış kopyaya ulaşan arama botları talimatı tamamen kaçıracaktır. Önbellek politikalarının özel başlıklara saygı duyduğundan emin olmak önemli bir adımdır.
Bir diğer sık karşılaşılan sorun çelişkili yönergelerle ilgilidir. Bir sayfa veya dosya aynı anda robots.txt’de engellenmişken noindex başlığı sunulmaya çalışılıyorsa, çelişki düzgün işlemeyi engeller. Ekipler, botun URL’yi getirmek ve yanıt başlıklarını okumak için tam erişime sahip olduğundan emin olmalıdır.
Sunucunuzda X-Robots-Tag uygulamak için adımlar
- Hariç tutmak istediğiniz dosya yollarını veya uzantılarını, örneğin .pdf, .docx veya .pptx gibi belirleyin.
- Sunucu yapılandırma dosyanıza (örneğin, Apache için .htaccess veya Nginx için site bloğunuz) erişin.
- Belirli dosya türleriyle eşleşmek ve noindex başlığını uygulamak için yönergeyi ekleyin.
- Değişiklikleri uygulamak için web sunucunuzu yeniden başlatın veya yapılandırmayı yeniden yükleyin.
- Başlığın döndürüldüğünü doğrulamak için Google Search Console’daki URL Denetleme aracını kullanın.
Alien Road bu süreci nasıl uygular
Tipik bir müşteri etkileşiminde, şişmiş veya güncel olmayan PDF belgelerini bulmak için arama dizinini denetleyerek başlarız. Ardından bu dosyaları sunucu ortamıyla eşleştiririz. Örneğin, bir müşteri büyük bir teknik kılavuz deposuna sahipse, sunucuyu yalnızca bu belirli dizinler için X-Robots-Tag ekleyecek şekilde yapılandırırız. Bu, birincil site içeriğinin etkilenmesini önlerken dahili belgelerin genel arama sorgularından gizli kalmasını sağlar.
Sistematik bir doğrulama döngüsüne odaklanırız. Başlıkları uyguladıktan sonra, sunucunun gerçekten doğru durum kodu ve X-Robots-Tag başlığı ile yanıt verdiğini doğrulamak için dahili izleme araçlarını kullanırız. Ardından, etkilenen URL’lerin bir örneğini Google Search Console URL denetleme aracına göndeririz. Araç ‘noindex’ durumunu onaylarsa, bu belgelerin SERP’ten kaldırılmasını izlemek için sonraki birkaç hafta boyunca dizini izleriz.
Mühendislik iş akışımız ayrıca hazırlık (staging) ortamlarında çalışan otomatik test betiklerini de içerir. Bu betikler, değişiklikleri üretime göndermeden önce HTTP yanıt başlıklarının doğru biçimlendirildiğini ve tüm uç düğümlerde tutarlı bir şekilde sunulduğunu doğrulamak için bot isteklerini simüle eder.
Kaçınılması gereken yaygın tuzaklar nelerdir?
- Dosyayı robots.txt’de engellemek: Dosyayı robots.txt’de engellerseniz, Google noindex talimatınızı göremez ve dosya dizinde kalabilir.
- Çelişkili başlıklar: Başka hiçbir eklentinin veya ara yazılımın X-Robots-Tag ayarlarınızı geçersiz kılmadığından emin olun.
- Anında kaldırma varsayımı: Google’ın yeni başlığı görmesi için URL’yi tekrar taraması gerekir; bu anlık değildir.
- Başlıksız yönlendirme: Bir PDF’i basitçe 404 sayfasına yönlendirmek, genellikle noindex talimatı ile 404/410 durumu sunmaktan daha az temizdir.
Arama motorları, resimler ve belgeler dahil olmak üzere genel içeriği otomatik botlar kullanarak dizine ekler.
Google Search Central
Bu hafta nereden başlamalı
Sunucu günlüklerinizi kontrol ederek veya şu anda Google tarafından dizine eklenmiş tüm PDF dosyalarını listelemek için bir site tarayıcısı kullanarak başlayın. Güncel olmayan bilgiler veya hassas dahili veriler içeren beş belge seçin. HTTP yanıtının doğru olduğunu doğrulamak için önce hazırlık sunucunuzda X-Robots-Tag: noindex başlığını uygulayın. Doğrulandıktan sonra yapılandırmayı üretim ortamınıza taşıyın ve Google Search Console aracılığıyla yeniden tarama isteyin.
Ayrıca sunucu ortamınızın eski yanıtı önbelleğe almadığından emin olun. Bazen bir CDN veya yerel sunucu önbelleği, yapılandırmanızı güncelledikten sonra bile eski başlıkları tutabilir. Bu önbellekleri temizlemek, Google’ın güncellenmiş talimatı bir sonraki gelişlerinde hemen almasını sağlamak için gerekli son adımdır.