Web sitenizin filtreleme sisteminin oluşturduğu belirli sorgu dizeleriyle eşleşmek için Disallow yönergesini kullanarak robots.txt’deki parametreli URL’leri engellersiniz. Bu yapılandırma, Googlebot’un fasetli gezinme veya sıralama filtreleri tarafından oluşturulanlar gibi gereksiz URL varyasyonlarını istemesini önler ve botun kaynaklarını yinelenen sayfalar yerine yüksek değerli içeriğinize odaklamasını sağlar. Bu talimatları yöneterek, arama motorlarının sitenizin yapısını nasıl yorumladığı üzerinde kontrol kazanırsınız.
Neden dinamik URL’lere bot erişimini kısıtlamalısınız?
Arama motoru botları, sunucu hızına ve site otoritesine bağlı olarak herhangi bir web sitesine sınırlı miktarda zaman ve kaynak ayırır. Bir site yapısı filtreler aracılığıyla binlerce benzersiz URL oluşturduğunda, bot ayrılan bütçesini kullanıcılara benzersiz bir değer sunmayan sayfalarda tüketebilir. Bu yönergeleri yönetmek, derin mimarilere sahip büyük siteler için gerekli bir görevdir.
Dinamik filtreler veya arama parametreleri tarafından binlerce URL oluşturulduğunda, tarama bütçesi kullanıcılara benzersiz bir değer sunmayan sayfalar tarafından hızla tüketilebilir.
Google Search Central
Sunucunuz dinamik filtre varyasyonları için gelen isteklerle sürekli bombardımana tutuluyorsa, gecikmede bir artış veya daha yüksek sunucu yükü fark edebilirsiniz. Bu, her benzersiz sorgu parametresinin, içerik işlevsel olarak başka bir sayfayla aynı olsa bile, sunucuyu bir isteği işlemeye zorlaması nedeniyle olur. Bu yolları engelleyerek sunucu kaynaklarını korursunuz, bu da Googlebot’un ürün detay sayfaları veya blog makaleleri gibi ana içerik sayfalarınızda daha fazla zaman geçirmesini sağlar.
Ayrıca, taranan sayfa sayısını azaltmak arama dizinini temiz tutmaya yardımcı olur. Arama motorları sıralama veya filtreleme nedeniyle oluşan yüzlerce neredeyse aynı sayfayı dizine eklediğinde, bu durum sitenin doğru hedef sayfa için sıralanmakta zorlandığı dahili yamyamlığa yol açar. Erişimi kısıtlamak, arama motorları için yüksek kaliteli sinyalleri korumak için proaktif bir önlemdir.
Hangi parametrelerin engelleneceğini nasıl belirlersiniz?
robots.txt dosyanızı düzenlemeden önce, dizine ekleme için gerekli olmayan sorgu parametrelerini belirlemelisiniz. Yaygın adaylar arasında sıralama düzenleri, kullanıcı oturum kimlikleri veya gereksiz filtre kombinasyonları bulunur. Sunucu günlüklerinizi inceleyerek veya hangi URL’lerin en çok isteği tükettiğini görmek için Search Console’daki Tarama İstatistikleri raporunu kullanarak URL yapınızı denetleyebilirsiniz.
- ?sort=price-asc veya ?sort=newest gibi sıralama parametreleri.
- ?utm_source= veya ?ref= gibi izleme parametreleri.
- Her kullanıcı ziyaretinde değişen oturum kimlikleri.
- Yinelenen ürün listeleri oluşturan kapsamlı filtre kombinasyonları.
- Boş veya düşük değerli sayfalar oluşturan dahili arama sonucu yolları.
Sunucu günlüklerinizi analiz etmek, Googlebot’un gerçekte ne istediğine dair en doğru görünümü sağlar. Belirli bir parametrede binlerce isabet görürseniz, bu parametrenin benzersiz bir sayfa içeriği amacına hizmet edip etmediğini kontrol edin. İçerik ana kategori sayfasıyla aynıysa, bu parametre engelleme için birincil adaydır. Yanlışlıkla önemli dizine eklenebilir sayfaları engellemediğinizden emin olmak için bu verileri her zaman Site Haritanızla çapraz kontrol edin.
Disallow kurallarını doğru şekilde uygulama
robots.txt dosyası, URL kalıplarını eşleştirmek için belirli bir sözdizimi kullanır. Hassas olmalısınız; yanlış yerleştirilmiş tek bir yıldız işareti tüm kategorileri veya ana sayfanızı engelleyebilir. Googlebot’un birincil içeriğinize hala ulaşabildiğinden emin olmak için kurallarınızı her zaman robots.txt Test aracıyla test edin.
- Disallow: /*?*sort= (Bu sıralama parametresini içeren tüm URL’leri engeller)
- Disallow: /*?*filter= (Belirli kategori filtresi dizelerini engeller)
- Disallow: /search? (Dahili arama sonucu sayfalarınızı engeller)
- Disallow: /*?sessionid= (Dinamik oturum tanımlayıcı dizelerini engeller)
Sözdizimi, çalışan bir robots.txt dosyasının temelidir. Joker karakter (*) kullanmak, değişen dizeleri etkili bir şekilde eşleştirmenize olanak tanır, ancak dikkat gerektirir. Örneğin, çok geniş bir kural koyarsanız, yanlışlıkla Google’ın oluşturma için gereken resimleri veya CSS dosyalarını taramasını engelleyebilirsiniz. Kurallarınızın yalnızca sorgu dizelerini hedeflediğinden ve dizin yollarının kendisini hedeflemediğinden her zaman emin olun.
Alien Road bunu nasıl uygular
Alien Road’da, tarama bütçesi yönetimine yaklaşımımız, site mimarisinin derin bir denetimiyle başlar. Tipik bir e-ticaret müşterisi için, fasetli gezinmelerinin dinamik yolları nasıl oluşturduğunu analiz ederiz. Parametreleri körü körüne engellemeyiz; engellenen URL’lerin Google’ın yeni ürünleri keşfetmesi için gerekli olmadığını doğrularız. Sorunlu dizeleri belirledikten sonra, belirli Disallow kurallarını dağıtırız ve Search Console’daki Dizin Oluşturma raporu aracılığıyla dizine ekleme üzerindeki etkiyi izleriz.
Etkileşimlerimizde, genellikle eski izleme parametrelerinin veya eski arama sonucu sayfalarının mevcut tarama bütçesinin büyük bir kısmını tükettiğini görürüz. URL kalıplarını denetleyerek başlarız, ardından robots.txt dosyasının güvenli bir sürümünü hazırlarız. Kanonik etiketlerin görünür kaldığından ve temel kullanıcı deneyiminin korunduğundan emin olmak için bunu hazırlık ortamlarında test ederiz. Kuralları onayladıktan sonra, bunları dikkatlice uygularız ve sunucu isteklerindeki değişikliği izleriz.
Kaçınılması gereken yaygın tuzaklar nelerdir?
Sık yapılan bir hata, hayati dizine eklenebilir içerik içeren bir parametreyi engellemektir. Örneğin, siteniz bir listedeki sayfa numarasını tanımlamak için bir parametre kullanıyorsa (?page=2), bu parametreyi engellemek Google’ın daha derin sayfalardaki ürünleri keşfetmesini engelleyebilir. Yalnızca mevcut sayfaların gereksiz sürümlerini oluşturan parametreleri engellemelisiniz.
Bir diğer sorun, değişikliklerinizi Google Search Console’a bildirmemektir. robots.txt doğrudan bir talimat olsa da, ek sinyaller sağlamak için URL Parametre Aracı’nı (varsa) veya kanonik etiketleri kullanmayı da düşünmelisiniz. robots.txt’deki bir kuralın mevcut URL’leri dizinden hemen kaldıracağını asla varsaymayın; bu sadece bu belirli yolların gelecekte taranmasını engeller.
Değişikliklerinizin etkisini izleme
Dosyanızı güncelledikten sonra, Tarama İstatistikleri raporunu birkaç hafta boyunca gözlemleyin. Günde taranan sayfa sayısında bir azalma ve odak noktasının birincil kategori ve ürün sayfalarınıza doğru kaydığını görmelisiniz. Sunucu yanıt süreleriniz dengelenirse, bu yönergelerin amaçlandığı gibi çalıştığının bir işaretidir.
Bu hafta, sunucu günlüklerinizdeki sitenizin en aktif filtre parametrelerini denetleyerek başlayın. En fazla gereksiz trafiği oluşturan kalıpları belgeleyin ve belirli Disallow kurallarının bir listesini hazırlayın. Bu yolları belirledikten sonra, değişiklikleri üretim ortamınıza canlı olarak göndermeden önce kuralları robots.txt test aracında test edin.