Cloudflare Workers, gelen istekleri yakalayarak veya doğrudan ağ kenarında (edge) URL listeleri oluşturmak için zamanlanmış görevler çalıştırarak XML site haritası oluşturmayı otomatikletir. Bu yöntem, ağır sunucu taraflı işlemlere veya veritabanı sorgularına olan bağımlılığı ortadan kaldırarak arama motorlarının birincil hosting performansınızı etkilemeden güncel site haritaları almasını sağlar. Cloudflare sunucularında kod çalıştırarak, asıl sunucunuzu yormadan Google’ın her zaman site yapınızın güncel durumunu görmesini sağlarsınız.
Birçok kurumsal platform için, bir istek sırasında anında site haritası oluşturmak, sayfa yüklenme sürelerini yavaşlatabilecek ağır bir görevdir. Bu mantığı edge’e taşıyarak, neredeyse anında statik veya dinamik olarak güncellenmiş bir XML dosyası sunarsınız. Bu yaklaşım, dahili bağlantı yapıوَarının günlük veya saatlik olarak değiştiği büyük kataloglara sahip siteler için özellikle yararlıdır.
Site haritaları için neden Cloudflare Workers kullanılmalı?
Yüksek değişim oranına sahip sitelerde site haritalarını korumak zordur. Standart CMS eklentileri binlerce URL oluştururken genellikle performans sorunlarıyla karşılaşır, bu da zaman aşımına (timeout) veya eksik dosyalara yol açar. Workers, otomatik olarak ölçeklenen serverless (sunucusuz) bir ortam sunarak onları dinamik içerik için ideal hale getirir.
Site haritası oluşturma işlemini başka bir yere yönlendirdiğinizde, orijinal sunucunuzu gereksiz trafik artışlarından korursunuz. Googlebot site haritanızı her talep ettiğinde veritabanınızın karmaşık sorgular çalıştırmasına gerek kalmaz. Bunun yerine Worker, önceden derlenmiş verileri getirir veya XML çıktısını edge’de önbelleğe alarak altyapınızdaki yükü büyük ölçüde azaltır.
Ayrıca bu yöntem, site haritası içeriği üzerinde ayrıntılı kontrol sağlar. Standart bir eklentinin desteklemeyebileceği iş mantığına dayalı olarak belirli kategorileri programatik olarak hariç tutabilir, taslak URL’leri filtreleyebilir veya sayfalara öncelik verebilirsiniz. Bu, Google’ın neyi keşfettiği konusunda size tam kontrol sağlar.
Google XML site haritalarını nasıl işler?
Google, yeni ve güncellenmiş sayfaları keşfetmek için site haritalarını kullanır. Tarama (crawling) temel keşif yöntemi olmaya devam ederken, site haritaları Googlebot için net bir harita sağlar. Belirli protokolleri takip etmek, verilerinizin arama motoru tarayıcıları tarafından doğru şekilde ayrıştırılmasını sağlar.
Google, site haritaları protokolü tarafından tanımlanan site haritası formatlarını destekler.
Google Search Central
Googlebot, resmi protokolü izleyen geçerli bir XML dosyası bekler. Bu, her URL’nin doğru etiketlerle çevrildiğinden ve dosyanın boyutsal sınırlamaları aşmadığından emin olmak anlamına gelir. Hatalı biçimlendirilmiş bir dosya sunarsanız, Google site haritanızı tamamen yoksayabilir ve otomasyonun amacını boşa çıkarabilir.
Ayrıca site haritasının bir indeksleme garantisi değil, bir öneri olduğunu belirtmek gerekir. Google, dizine ekleyip eklememeye karar vermeden önce içeriğinizin kalitesini yine de değerlendirecektir. Site haritası kullanmak, özellikle derin hiyerarşilere sahip siteler veya dahili olarak iyi bağlanmamış sayfalar için Google’ın sayfalarınızı daha hızlı bulmasına yardımcı olur.
Worker ortamı nasıl kurulur?
Temel bir Cloudflare hesabına ve Workers kontrol paneline erişime ihtiyacınız vardır. Kurulum, veritabanınızdan veya bir API’den URL’ler getiren, bunları XML yapısında biçimlendiren ve sonraki istekler için sonucu önbelleğe alan bir komut dosyasını içerir.
- Cloudflare kontrol panelinde yeni bir Worker oluşturun.
- Site haritası URL yolu için bir olay dinleyicisi (event listener) tanımlayın.
- CMS API’nizden içerik meta verilerini almak için mantık yazın.
- Verileri gerekli XML etiketleri şeklinde biçimlendirin.
- Aşırı kaynak isteklerini önlemek için bir cache-control başlığı ayarlayın.
Komut dosyası dağıtıldıktan sonra, bir istek site haritası yolunuza (örn. /sitemap.xml) ulaştığında Worker’ı tetikleyen bir rota yapılandırmalısınız. Google’ın dosya türünü hemen tanımlamasına yardımcı olduğundan, XML başlıklarının ‘application/xml’ olarak doğru şekilde ayarlandığından emin olmak için yanıtı bir tarayıcıda veya cURL aracılığıyla test etmek çok önemlidir.
Alien Road bunu nasıl uygular?
Alien Road olarak, büyük veya sık değişen envanterlere sahip müşteriler için site haritası oluşturmayı yönetmek üzere Cloudflare Workers kullanıyoruz. Veritabanını doğrudan sorgulayan özel bir edge worker oluşturarak yavaş CMS eklentilerine güvenmekten kaçınıyoruz. Bu, ana site yoğun trafikle karşılaşsa bile site haritasının Googlebot için erişilebilir kalmasını sağlar. Edge tarafından oluşturulan dosyaların verimli bir şekilde işlendiğini doğrulamak için Search Console’daki tarama istatistiklerini izliyoruz.
Tipik bir çalışmada, edge tabanlı site haritalarına geçişin sunucu hatalarının neden olduğu ‘tarama bütçesi’ (crawl budget) israfını azalttığını görüyoruz. Temiz, hızlı yüklenen bir XML dosyası sağlayarak, Googlebot’un sunucunuzun site haritası isteklerine yanıt vermesini beklemek yerine gerçek içeriğinizi okumaya daha fazla zaman ayırmasına olanak tanıyoruz.
Kaçınılması gereken yaygın zorluklar nelerdir?
Otomasyonla bile teknik hatalar Google’ın site haritanızı okumasını engelleyebilir. Kodunuzun katı XML standartlarına bağlı olduğundan ve robots.txt dosyanızın worker tarafından oluşturulan yolu engellemediğinden her zaman emin olun. Komut dosyanız başarısız olursa, site haritanız boş bir dosya veya hata kodu döndürebilir ve Google’ın güncellemelerinize olan güvenini kesmesine neden olabilir.
- Site haritası dosya boyutunuzun 50MB sınırını aşmadığını kontrol edin.
- Tüm URL’lerin doğru protokolü içeren mutlak yollar olduğundan emin olun.
- Oluşturulan listenizde hiçbir yönlendirme döngüsünün (redirect loop) bulunmadığını doğrulayın.
- Dizinlenemez sayfaların dosyadan hariç tutulduğunu onaylayın.
Bir diğer sık görülen sorun, ‘noindex’ sayfalarının yanlışlıkla dahil edilmesidir. XML çıktısına eklemeden önce her URL’nin dizinlenebilirlik durumunu kontrol etmek için Worker’ınıza mantık kurmalısınız. Engellenmiş sayfaları dahil ederseniz, Google’a çelişkili sinyaller vermiş olursunuz, bu da genel site sağlığınızı olumsuz yönde etkileyebilir.
Bu hafta nereden başlamalı
URL sayınızı ve içerik güncellemelerinizin sıklığını belirleyerek başlayın. 500’den az sayfanız varsa, standart bir eklenti muhtemelen yeterlidir. Büyük bir platform işletiyorsanız, site haritası dizininizi sunmak için bu hafta temel bir Worker komut dosyası dağıtın. Google’ın dosyayı hatasız bir şekilde alabildiğini doğrulamak için Search Console Site Haritası raporundaki çıktıyı test edin.
Worker’ın dosyayı doğru şekilde sunduğunu doğruladıktan sonra, bir izleme adımı eklemeyi düşünün. Worker 5xx hatası döndürürse sizi bilgilendirmek için Cloudflare kontrol panelinizde uyarılar ayarlayabilirsiniz. Bu proaktif yaklaşım, siteniz büyüdükçe teknik SEO temelinizin sağlam kalmasını sağlar.