Crawler tuzağı tespiti, arama motoru botlarını sonsuz döngülere sokan, sunucu kaynaklarını tüketen ve yeni içeriğin keşfini sınırlayan URL kalıplarını belirleme sürecidir. Bu tuzaklar, filtreler veya sıralama seçenekleri gibi dinamik parametreler, aynı veya benzer sayfa içeriğine işaret eden neredeyse sonsuz sayıda benzersiz URL oluşturduğunda ortaya çıkar. Bu yapıları belirleyerek ekipler, Google’ın düşük değerli sayfalarda zaman kaybetmesini önleyebilir ve kritik site güncellemelerinin indekse daha hızlı ulaşmasını sağlayabilir.
Faset navigasyonunda crawler tuzakları neden oluşur?
Faset navigasyonu, kullanıcıların ürünleri renge, fiyata veya boyuta göre filtrelemesi için yararlı bir yoldur. Ancak, bu filtreler herhangi bir sırada birleştirilebilen URL parametreleri kullandığında, astronomik sayıda olası URL oluştururlar. Googlebot, hangi kombinasyonların yararlı ve hangilerinin gereksiz olduğunu doğal olarak bilmez.
Faset navigasyonu, ziyaretçilerin bir sayfadaki öğelerin görüntülenme şeklini değiştirmesine olanak tanıyan web sitelerinin yaygın bir özelliğidir.
Google Search Central
Crawlerlar, benzersiz envanter içeren filtrelenmiş bir görünüm ile sadece kopya olanı ayırt edemedikleri için, her varyasyonu crawl etmeye çalışabilirler. Bu, sunucunuzun arama kullanıcıları için hiçbir ek değer sağlamayan sayfalar için binlerce isteği işlediği aşırı crawl (overcrawling) ile sonuçlanır. Birçok durumda, parametrelerin kombinasyonu boş sayfalara veya geri dönüştürülmüş içeriğe giden bir yol oluşturur ve botu indeks için hiçbir fayda sağlamayan bir döngüye hapseder.
Örneğin, 50 ürünü olan bir e-ticaret sitesinde renk, boyut, malzeme ve marka için filtreler olabilir. Eğer bir kullanıcı bunları herhangi bir sırada seçebilirse, oluşturulan URL sayısı milyonlara ulaşabilir. Googlebot bu bağlantıların her birini izlemeye çalışacak ve sıralanması gereken gerçek ürün sayfalarını kaçıracaktır.
Sitenizdeki potansiyel tuzakları nasıl belirleyebilirsiniz?
Sunucu loglarınızı izlemek, bu sorunları tespit etmenin en doğrudan yoludur. Birden fazla sorgu parametresi içeren URL’ler için yüksek hacimli istekler fark ederseniz, muhtemelen bir tuzak belirlemişsinizdir. Analiziniz sırasında şu yaygın göstergelere dikkat etmelisiniz:
- ?color=blue&color=red gibi tekrarlanan parametrelere sahip URL’ler.
- Her ziyaretçi oturumu için benzersiz URL’ler oluşturan sıralama parametreleri.
- Boş arama sonuçları sayfalarıyla sonuçlanan filtre kombinasyonları.
- URL yapısına gömülü dinamik oturum kimlikleri.
Log dosyalarının ötesinde, Google Search Console içindeki ‘Crawl stats’ raporundaki kalıplara bakın. Eğer ‘Crawled – currently not indexed’ veya ‘Discovered – currently not indexed’ sayıları artıyorsa, bu crawlerın çok fazla URL varyasyonu bulduğunun bir işaretidir. Faydalı, indekslenebilir açılış sayfaları ile site mimarisinin yarattığı gürültüyü birbirinden ayırmalısınız.
‘Sort by’ işlevselliğinin etkisini göz önünde bulundurun. Bir kullanıcı ‘sort by price: high to low’ düğmesine tıklarsa, bu genellikle yeni bir URL oluşturur. Googlebot bu bağlantıyı izlediğinde, kategori sayfasıyla aynı ürünleri görür, sadece farklı bir sırada. Bunu on sıralama seçeneğiyle çarpın ve crawler için benzersiz içerik kazancı olmadan on kat daha fazla iş yaratmış olursunuz.
Alien Road bunu nasıl uygular
Alien Road’da yaklaşımımız, crawl log verilerinin derin bir denetimiyle başlar. Hangi URL kalıplarının günlük crawl bütçesinin en yüksek yüzdesini tükettiğini analiz ederiz. Tipik bir e-ticaret müşterisi için, crawl edilen URL’lerin %70’inin gereksiz fasetler tarafından oluşturulduğunu sıklıkla görürüz. Gelir getiren sayfaları engellemediğimizden emin olmak için bunları dönüşüm verileriyle eşleştiririz.
Bu kalıpları belirledikten sonra, parametreler için yapılandırılmış bir hiyerarşi uygularız. Botları ana kategori sayfasına yönlendirmek için canonical etiketleri kullanmayı veya hiçbir arama değeri sunmuyorlarsa gereksiz parametre kombinasyonlarını robots.txt aracılığıyla engellemeyi tercih ederiz. Googlebot yüksek etkili sayfalara odaklanırken dahili arama işlevselliğinin bozulmadan kalmasını sağlamak için her değişikliği belgeleriz.
Ayrıca periyodik kontroller yaparız. Bir düzeltme uyguladıktan sonra, crawl edilen URL sayısının stabilize olup olmadığını görmek için Google Search Console’daki ‘Pages’ raporunu izleriz. Sunucu yükünde bir düşüş ancak temel ürün sayfalarına trafikte bir artış görürsek, denetimin başarılı olduğunu biliriz. Bu süreç, müşteri yeni bir koleksiyon başlattığında veya site navigasyonunu değiştirdiğinde tekrarlanır.
Hangi stratejiler crawl bütçesi israfını önler?
Crawl bütçenizi yönetmek, site yapınızı botlara nasıl sunduğunuza dair disiplinli bir yaklaşım gerektirir. Crawlerı en alakalı içeriğe yönlendirmek ve döngülerden uzaklaştırmak için birkaç standart araç ve protokol kullanabilirsiniz.
- Döngüler oluşturduğu bilinen belirli parametre dizilerine erişimi engellemek için robots.txt dosyasını kullanın.
- Birincil sürümü Google’a bildirmek için tüm faset sayfalarında canonical etiketleri uygulayın.
- Site mimarisi destekliyorsa parametre yönetimini yapılandırın.
- İndekslemenin istenmediği yerlerde filtre kombinasyonlarına giden bağlantıların nofollow özniteliğini kullandığından emin olun.
Robots.txt dosyasını kullanırken hassas olun. Tüm dizini engellemek, meşru sayfalar orada bulunuyorsa istenmeyen sonuçlara yol açabilir. Bunun yerine, sorunlu olduğunu bildiğiniz belirli sorgu dizilerini hedefleyin. Bu, crawlerı tuzaktan uzak tutarken kök kategoriyi ziyaret etmesine izin verir.
Canonical etiketler, kopya içeriği yönetmek için güçlü bir araçtır. Filtrelenmiş bir sayfanın her varyasyonunu temiz, orijinal URL’ye yönlendirerek, Google’a bu sayfalar mevcut olsa da ayrı varlıklar olarak ele alınmamaları gerektiğini bildirirsiniz. Bu, ana sayfa için sıralama sinyallerini birleştirmeye yardımcı olur.
Bu hafta nereden başlamalı
Google Search Console crawl stats raporunu inceleyerek başlayın. Crawl sıklığına göre ilk 50 URL’i belirleyin ve bunların benzersiz sayfalar mı yoksa ana kategorinin filtrelenmiş sürümleri mi olduğunu kontrol edin. Kopya bulursanız, bunları ele almak için canonical etiketi veya robots.txt bloğu gibi bir yöntem seçin. Crawl davranışının önümüzdeki yedi gün içinde nasıl değiştiğini gözlemlemek için her seferinde bir kategoriye odaklanın.
Ardından, dahili bağlantılarınızı inceleyin. Yan panelinizdeki her olası filtre kombinasyonuna bağlantı veriyor musunuz? Bu aktif bağlantıları JavaScript ile çalışan filtreler veya indekslenemeyen öğelerle değiştirmek, crawlerların tuzakları bulmasını en başta önleyebilir. Site mimarinizdeki küçük, kasıtlı değişiklikler, reaktif engellemeden daha iyi sonuçlar verecektir.