Fasetli navigasyondaki tarama tuzakları, bir web sitesi ürün filtreleri, sıralama parametreleri veya oturum kimlikleri aracılığıyla sonsuz sayıda benzersiz URL oluşturduğunda ortaya çıkar. Bu tuzaklar, Googlebot tarafından ayrılan tarama bütçesini tüketerek tarayıcının birincil ürün ve kategori sayfalarınız yerine yinelenen veya düşük değerli içeriklere zaman harcamasına zorlar. Bu kalıpları belirleyerek ve katı hariç tutma kuralları uygulayarak, arama motorlarının en değerli açılış sayfalarınıza öncelik vermesini sağlarsınız.
Site mimarinizde tarama tuzaklarına ne neden olur?
Tarama tuzakları nadiren kasıtlıdır, ancak genellikle geliştiricilerin veritabanı odaklı filtrelemeyi nasıl yapılandırdığından kaynaklanır. Bir e-ticaret sitesi kullanıcıların birden fazla filtreyi (boyut, renk, fiyat aralığı ve sıralama düzeni gibi) birleştirmesine izin verdiğinde, potansiyel URL kombinasyonlarının sayısı katlanarak büyür. Bu kombinasyonların her birine benzersiz bir URL üzerinden erişilebilirse, içerik neredeyse aynı olsa bile Googlebot bunları ayrı sayfalar olarak ele alır.
Atletik giyim satan bir mağazayı düşünün. Bir kullanıcı renk (5 seçenek), boyut (6 seçenek) ve marka (10 seçenek) filtreleyebilirse, sistem yüzlerce yol üretir. Site ayrıca fiyata, tarihe veya popülerliğe göre sıralamaya izin veriyorsa, benzersiz adreslerin toplam sayısı binleri bulur. Googlebot bunlarla benzersiz istekler olarak karşılaşır ve bu da kaynakları çekirdek ürün sayfalarından uzaklaştırır.
Bu sorunlar genellikle CMS platformlarının sorgu dizelerini nasıl ele aldığından kaynaklanır. Geliştiriciler kurallı ilişkiler tanımlamadığında veya filtrelenmiş sonuçlarda indeksleme dışı etiketler kullanmadığında, tarayıcı her bir kombinasyonun araştırılmaya değer benzersiz bir içerik parçası olduğunu varsayar. Bu davranış, büyük mağazaların indeks kapsamı raporlarının aniden binlerce düşük değerli, parametre ağırlıklı URL ile dolduğunu görmelerinin ana nedenidir.
- Sıralama parametreleri: ?sort=price-asc veya ?sort=newest eklemek yinelenen sayfalar oluşturur.
- Filtre kombinasyonları: ‘Mavi’ ve ‘Küçük’ seçmek ‘Küçük’ ve ‘Mavi’den farklı bir URL oluşturur.
- Oturum kimlikleri: Her ziyaretçi bağlantısına ?sid=12345 gibi izleme kodları eklemek.
- Sayfalama döngüleri: Googlebot’un sonsuz veya dairesel sayfa sonuçlarına bağlantıları takip etmesine izin vermek.
Fasetli navigasyon sorunları nasıl tespit edilir?
Google Search Console’daki Tarama İstatistikleri raporunu kullanarak Google’ın bu parametrelerle nasıl etkileşime girdiğini izleyebilirsiniz. Gerçek gelir getiren kategorilere karşılık gelmeyen yüksek sayıda indekslenmiş sayfa arayın. Birden fazla parametre içeren URL’lere yönelik isteklerde bir artış fark ederseniz, büyük olasılıkla bir tarama tuzağı tespit etmişsinizdir.
Sunucu günlükleri bu davranışın en doğru resmini sağlar. Erişim günlüklerinizi Googlebot kullanıcı aracı tarafından yapılan istekler için filtreleyerek, tarayıcının uzun sorgu dizesi parametrelerine sahip URL’leri sık sık ziyaret edip etmediğini görebilirsiniz. Günlükleriniz aynı ürün listesine yol açan varyasyonlar için binlerce istek gösteriyorsa, tarama bütçesi israfının açık bir işaretiyle karşı karşıyasınız demektir.
İyi yapılandırılmış bir robots.txt dosyası, botların sonsuz URL kombinasyonları oluşturan filtre varyasyonlarına, oturum kimliklerine ve izleme kodlarına erişmesini engeller.
Google Search Central
Robots.txt ve kurallı etiketlerle tarama tuzaklarını düzeltme
Tarayıcı israfını durdurmanın en doğrudan yolu, robots.txt dosyanızda belirli parametre kalıplarını engellemektir. Bu, Googlebot’un bu sayfaları tamamen istemesini engeller. Ancak, gerçekten indekslenmesini istediğiniz sayfaları engellemediğinizden emin olun.
Kurallı etiketler, yinelenen içeriği yönetmek için aynı derecede önemlidir. Bir kategoriyi görüntülemenin birden fazla yolu olduğunda, kurallı etiket Google’a hangi URL’nin ana sürüm olduğunu söyler. Bu, arama motorunun filtrelenmiş sonuçları ayrı sayfalar olarak ele almasını engeller ve içeriğin ana kategorinin bir varyasyonu olduğunu etkili bir şekilde sinyaller.
Daha gelişmiş kurulumlar için, filtreler tarafından oluşturulan sayfalarda ‘noindex’ meta etiketini kullanmayı düşünebilirsiniz. Bu, tarayıcının sayfayı ziyaret etmesine izin verir ancak motora bunu arama sonuçlarında göstermemesini söyler. Bu strateji, arama kullanıcılarına çok az değer sunan ancak site navigasyonu için yararlı olmaya devam eden dahili aramalar veya son derece spesifik filtre kombinasyonları için yararlıdır.
- Esas olmayan sorgu parametreleri içeren URL kalıpları için robots.txt’de Disallow yönergesini kullanın.
- Google’ı orijinal, temiz URL’ye yönlendirmek için kendine atıfta bulunan kurallı etiketler uygulayın.
- Arama motoru kullanıcılarına düşük fayda sunan filtre sayfalarına noindex etiketleri uygulayın.
- İç bağlantı yapınızın parametre ağırlıklı bağlantılar yerine temiz URL’lere öncelik vermesini sağlayın.
Alien Road bunu nasıl uygular
Alien Road olarak, parametre tarafından oluşturulan sayfaların derinliğini haritalandırmak için önce tam bir site taraması gerçekleştirerek tarama verimliliğini yönetiyoruz. Googlebot’un zamanının çoğunu hangi kalıplara harcadığını tam olarak görmek için sunucu günlüklerini analiz ediyoruz. Tipik bir çalışmada, bu bulguları ikincil sıralama ve filtre kombinasyonlarını engelleyen ve temel kategorileri açık tutan özel bir robots.txt kural setinde birleştiriyoruz.
Sürecimiz ‘tarama-indeks’ oranını belirlemekle başlar. Bir sitenin 10.000 sayfası varsa ancak yalnızca 500’ü indekslenmişse, teknik engeli ararız. Parametrelerin bir listesini oluşturuyoruz, hiçbir ana içeriğin engellenmediğinden emin olmak için bir hazırlık ortamında robots.txt hariç tutmalarını test ediyoruz ve ardından dağıtımdan sonraki iki hafta boyunca günlükleri izliyoruz. Bu yaklaşım, Googlebot’un yeni ürünleri hızlı bir şekilde bulması için yolu temizler.
Tarama stratejinizi ne zaman güncellemelisiniz?
Büyük bir site güncellemesi her yayınladığınızda veya yeni bir filtreleme kategorisi eklediğinizde URL yapınızı denetlemelisiniz. Temel sayfalarda tarama oranınızın düştüğünü görürseniz, günlüklerinizi hemen kontrol edin. Temiz bir URL yapısını korumak, sitenizi uzun vadeli keşif için sağlıklı tutan devam eden bir görevdir.
Site mimarisinde yapılan sık güncellemeler yeni parametreler getirebilir. Geliştirme ekibiniz URL’ye veri ekleyen bir ‘renk seçici’ veya ‘beden kılavuzu’ eklerse, hariç tutma kurallarınızı güncellemelisiniz. Proaktif bakım, indeksleme üzerindeki etkisi şiddetli hale gelene kadar genellikle fark edilmeyen tarama atıklarının yavaşça birikmesini önler.
Bu hafta nereden başlamalı
Tarama bütçenizi tüketen en iyi parametreleri belirlemek için Google Search Console tarama istatistiklerinizi kontrol ederek başlayın. Bu parametrelerin bir listesini oluşturun ve hazırlık ortamında robots.txt hariç tutmalarınızı test edin. Doğrulandıktan sonra, site kaynaklarınızın en önemli içeriğinize adanmaya devam etmesini sağlamak için değişiklikleri uygulayın. Etkiyi doğru bir şekilde takip etmek için her seferinde bir parametreye odaklanın.