Retry-After başlığı ile birleştirilmiş HTTP 429 durum kodları, web sunucunuzun Googlebot’un tarama hızını düşürmesi gerektiğini bildirmesine olanak tanır. Sunucunuz aşırı miktarda eşzamanlı istek algıladığında, bu sinyal arama motoru tarayıcısına içeriğinize tekrar erişmeye çalışmadan önce duraklamasını ve belirli bir süre beklemesini bildirir. Bu teknik uygulama, sunucunun tükenmesini önler ve yüksek talep gören olaylar sırasında site kararlılığını korur.
Tarayıcılar için neden 429 durum kodunu kullanmalısınız?
Tarama bütçesini kontrol etmek, teknik SEO’nun temel bir yönü olmaya devam etmektedir. Googlebot aynı anda çok fazla URL isterse, veritabanınız ve sunucu CPU’nuz bu istekleri gerçek insan trafiğiyle birlikte işlemekte zorlanabilir. Bu, yanıt sürelerinin artmasına neden olur ve bu da gerçek ziyaretçiler için kullanıcı deneyimini olumsuz etkiler.
429 yanıtı göndermek, sunucunuzun geçici olarak daha fazla yükü kaldıramayacağına dair net bir sinyaldir. Bu yaklaşım, sunucunun çökmesine veya 5xx hataları döndürmesine izin vermekten daha üstündür. Bir sunucu 5xx hatası döndürdüğünde, bu bir başarısızlığı bildirir; oysa 429, sitenin çalıştığını ancak istek sıklığında geçici bir duraklamaya ihtiyaç duyduğunu bildirir. Bu ayrım, arama motorunun sitenizi bozuk olarak işaretlemeden indeksleme sürecini sürdürmesine olanak tanır.
Örneğin, büyük bir indirim kampanyası yaşayan tipik bir hesapta, binlerce bot aynı anda sunucuya saldırabilir. Hız sınırlaması olmadan, sunucu ödeme sayfalarını gerçek müşterilere sunamayabilir. Bot trafiğini tanımlayarak ve 429 durum kodları vererek, sunucu kaynaklarını insan kullanıcılar için korur ve arama tarayıcısıyla iletişim kurarken dönüşüm yollarının açık kalmasını sağlar.
Ayrıca, 429 kodunu kullanmak, sunucunun şu anda aşırı yüklendiğini ancak yakın gelecekte isteklere yanıt vermeyi amaçladığını bildirmenin standart bir yoludur. Genellikle bir bakım penceresini ima eden 503 hatasından farklı olarak, 429 kodu özellikle istek hacmi yönetimi ile ilgilidir. Bu, yeni bir ürün lansmanı ilgi artışına neden olduğunda olduğu gibi, ani trafik artışları sırasında backend’inizin yükü azaltmasına olanak tanır.
Retry-After başlığı nasıl çalışır?
Retry-After başlığı, saniye cinsinden bir süre veya Googlebot’a taramaya devam etmenin ne zaman güvenli olduğunu tam olarak söyleyen bir HTTP-tarihi sağlar. Bu başlığı dahil ederek, sadece bir hata mesajı değil, rehberlik sunarsınız. Bu, tarayıcının sorunun geçici olduğunu ve daha sonra geri dönmesi gerektiğini anlamasına yardımcı olur; bu da sağlıklı bir indeksleme ritmini korumak için gereklidir.
Retry-After başlığı olmadan, bir tarayıcı hemen yeniden bağlanmaya çalışabilir, bu da bir 429 yanıtları döngüsü yaratırdı. 30 veya 60 saniye gibi bir süre belirleyerek, sunucuya kuyruğunu temizlemesi ve toparlanması için zaman tanırsınız. Bu, hem sunucu kapasitesine hem de taze indeks verilerine olan ihtiyaca saygı duyan öngörülebilir bir ritim yaratır.
Uygulama basittir ancak hassasiyet gerektirir. Başlıktaki değer doğru olmalıdır, çünkü aşırı agresif bir bekleme süresi indekslemeyi gereksiz yere geciktirebilir, çok kısa bir değer ise başka bir 429 dalgasına neden olabilir. Veritabanınıza bekleyen sorguları işlemesi için zaman tanımak amacıyla yüksek yük dönemlerinde 60 saniyelik bir pencere ile başlamanızı öneririz.
- 429 yanıtınızla birlikte bekleme süresini saniye cinsinden gösteren geçerli bir Retry-After başlığı ekleyin.
- Sunucunun bekleme süresinden sonraki başarılı istekler için 200 OK durumunu döndürdüğünden emin olun.
- Googlebot’u 429 kodlarıyla kalıcı olarak engellemeyin, çünkü bu indeks dışı bırakılmaya yol açacaktır.
- Bekleme süresi dolduktan sonra tarama hızının ayarlandığından emin olmak için sunucu günlüklerinizi doğrulayın.
Hız sınırlamasını uygularken karşılaşılan yaygın tuzaklar nelerdir?
Site sahipleri genellikle 429 kodlarını kalıcı bir yasakla karıştırırlar. Geçici bir hız sınırı ile tam bir erişim kısıtlaması arasında ayrım yapmak çok önemlidir. Sunucu uzun bir süre boyunca 429 döndürmeye devam ederse, Googlebot bunu sitenin artık mevcut olmadığına dair bir işaret olarak yorumlayabilir ve bu da indeks kapsamının düşmesine yol açabilir.
Bir diğer yaygın hata, 429 yanıtını render için gereken CSS, JavaScript veya resim dosyalarına uygulamaktır. Tarayıcı sayfayı anlamak için gereken kaynaklara erişemezse, sayfayı içeriğin eksik bir sürümüne dayanarak indeksleyebilir. Hız sınırlamasının, sayfa ayrıştırması için kritik olan bireysel kaynakları engellemek yerine, tarayıcının istek akışına bir bütün olarak uygulandığından her zaman emin olun.
Ayrıca, CDN veya WAF ayarlarınızla çakışmaları kontrol edin. Bazen güvenlik katmanları, kaynak sunucunuz kararlı olsa bile bot etkinliği algıladıklarında otomatik olarak 429 kodları verebilir. Bu katmanlar yanlış yapılandırılmışsa, Googlebot’u tamamen engelleyebilirler ki bu da ters etki yaratır. WAF’ınızın Googlebot IP aralıklarının agresif hız sınırlama kurallarını atlamasına izin verecek şekilde yapılandırıldığını doğrulayın.
robots.txt dosyası, arama motoru tarayıcılarına sitenizdeki hangi URL’lere erişebileceklerini bildirir.
Google Search Central
Alien Road bunu nasıl uygular
Alien Road’da, yoğun satışlar veya içerik güncellemeleri sırasında yüksek frekanslı istekler için sunucu günlüklerini izleyerek tarama hızı sorunlarını yönetiyoruz. Sunucuyu, istekler mevcut sunucu kapasitemiz tarafından belirlenen belirli bir eşiği aştığında 429 durum koduyla yanıt verecek şekilde yapılandırıyoruz. Bu, altyapının insan kullanıcılar için erişilebilir kalmasını sağlarken, tarayıcının nasıl ilerleyeceğine dair net talimatlar almasını sağlar.
Ekibimiz, uygulamanın indeksleme sorunlarına neden olmadan etkili olmasını sağlamak için yapılandırılmış bir yaklaşım izler. Bu yapılandırmalarda hızdan çok doğruluğa öncelik veriyoruz, çünkü yanlış bir hız sınırı sitenin görünürlüğüne bilmeden zarar verebilir. Örneğin, bir müşterinin sezonluk zirve döneminde, sunucu gecikmesi üç ardışık dakikadan fazla 500ms’yi aşarsa 429 yanıtını tetikleyen otomatik uyarılar kuruyoruz.
Trafik artışı azaldıktan sonra, hız sınırlarını kademeli olarak gevşetiyoruz ve Google Search Console tarama raporunu izliyoruz. Bu veriye dayalı yaklaşım, yüksek talep gören olaylar sırasında sunucuyu korurken müşterilerimizin sitelerini indekslenmiş durumda tutmamıza olanak tanır. 429 durum koduna trafik yönetimi için küt bir alet olarak değil, cerrahi bir alet olarak yaklaşıyoruz.
- Sunucu erişim günlüklerinizdeki yüksek yüklü segmentleri belirlemek için mevcut tarama modellerini denetleyin.
- CPU kullanımı veya bellek yükü gibi gerçek zamanlı sunucu sağlığı ölçümlerine dayalı dinamik hız sınırlaması kurun.
- Googlebot’un duraklatma komutunu doğru yorumladığından emin olmak için Retry-After başlığını hazırlık ortamında test edin.
- Tarama hızının tutarlı kaldığını doğrulamak için Google Search Console indeksleme raporlarını izleyin.
Bu hafta nereden başlamalı
Googlebot etkinliğindeki artışları kontrol etmek için bu hafta mevcut sunucu günlüklerinizi gözden geçirin. Sunucu yanıt sürenizin arttığı dönemleri belirlerseniz, 429 durum kodu mantığını uygulayın. Tarama bütçeniz üzerinde olumsuz bir etkiyi önlemek için muhafazakar bir Retry-After değeri belirleyerek başlayın. Bu küçük, ölçülü adımları atarak, arama motoruyla profesyonel bir ilişkiyi korurken dijital operasyonlarınızın temelini korursunuz.
Son yedi günün erişim günlüklerini analiz ederek başlayın. Googlebot kullanıcı aracılarını filtrelemek ve dakika başına istek sayısını hesaplamak için bir komut satırı aracı veya günlük analiz platformunuzu kullanın. Sitenizdeki performans sorunlarıyla örtüşen sürekli zirveler görüyorsanız, 429 durum kodunu uygulamak için eşiğinizi burada tanımlamalısınız.