Crawl-delay direktifi, bir web sunucusuna gelen otomatik bot isteklerinin sıklığını yönetmek için kullanılan bir araçtır. Arama motoru tarayıcıları bir siteyi indekslerken, sunucu kapasitesine ve içerik güncellemelerine göre ziyaretleri otomatik olarak planlarlar. Ancak, botlar yeni bölümleri, büyük URL gruplarını veya optimize edilmemiş parametre kombinasyonlarını keşfettiklerinde ani trafik artışları meydana gelebilir. Yüksek sunucu yükünün kök nedenini teşhis etmek, herhangi bir manuel kısıtlama yöntemi uygulamadan önce her zaman gerekli ilk adımdır.
Örneğin, giyim satan standart bir e-ticaret mağazası, sadece otomatik bir tarayıcının bir saat içinde binlerce renk ve beden filtresi permütasyonunu ziyaret etmeye karar vermesi nedeniyle CPU kullanımında ani bir artış yaşayabilir. Uygun sunucu izleme olmadan, geliştiriciler genellikle paniğe kapılır ve ağır engelleme kuralları uygularlar, bu da genellikle kanonik yolları bozarak veya değerli kategori açılış sayfalarını ana indeksten tamamen gizleyerek ters teper.
Tarayıcıların altyapınızı nasıl işlediğini anlamak, sunucu günlüklerine ve tarama istatistiklerine yapılandırılmış bir yaklaşım gerektirir. Arama motoru botları, sunucunuzun donanım sınırlarına saygı duymak için tasarlanmış özel algoritmalarla çalışır, ancak sitenizin sağladığı sinyallere büyük ölçüde güvenirler. Siteniz belirsiz HTTP durumları veya çelişkili indeksleme sinyalleri döndürürse, bot ideal istek sıklığını yanlış hesaplayabilir, bu da insan ziyaretçiler için de performansın düşmesine yol açar.
Botların neden olduğu sunucu yükünü nasıl teşhis edersiniz?
Herhangi bir tarama ayarını değiştirmeden önce, botun aslında neyi getirdiğini araştırmalısınız. Sunucu günlüklerinizi inceleyin veya web yöneticisi panelinizdeki tarama istatistikleri aracını kontrol edin. Sıralama filtreleri veya dahili arama sorguları gibi GET parametreleri içeren URL’lere yakından bakın. Bu parametre ağırlıklı yollar, arama motoru indeksine hiçbir benzersiz değer eklemeden değerli sunucu kaynaklarını tüketen binlerce kopya URL oluşturur.
Bir tarayıcı yeni başlatılan bir bölümle veya yapısal bir düzen değişikliğiyle karşılaştığında, her erişilebilir uç noktayı haritalamaya çalıştığı için istek hacmi doğal olarak artar. Bu trafiğin zararlı mı yoksa sadece normal bir keşif aşamasının bir parçası mı olduğunu izole etmek için, sistem yöneticileri gelen tarayıcı kullanıcı aracılarını (user-agent) aktif veritabanı sorgu sayılarıyla çapraz referanslamalıdır. Yavaş veritabanı sorguları, parametre URL’lerindeki yüksek bot istek oranlarıyla tam olarak örtüşüyorsa, ana darboğazı bulmuşsunuz demektir.
- Kopya parametre kombinasyonlarını hedefleyen tekrarlayan istekler için sunucu günlüklerini kontrol edin ve bunların veritabanı yanıt süresi üzerindeki etkisini ölçün.
- Kopya içerik oluşturmanın neden olduğu büyük boşlukları tespit etmek için yüklenen toplam sayfa sayısını gerçekte indekslenen sayfalarla karşılaştırın.
- Yapısal değişikliklere, yeni gezinme menülerine veya içe aktarılan büyük ürün URL gruplarına karşılık gelen ani trafik artışlarını belirleyin.
Tarama ayarlarını değiştirmeden önce sunucu yükünü teşhis etmek neden önemlidir?
Kapsamlı bir teşhis olmadan doğrudan manuel kısıtlamaya geçmek genellikle daha derin mimari sorunları maskeler. Sunucunuz, tarayıcı sonsuz takvim döngüleri veya bozuk sayfalama bağlantıları üzerinde kaynak israf ettiği için zorlanıyorsa, botu yavaşlatmak sadece kaçınılmaz çökmeyi geciktirir. Temel yönlendirme mantığını düzeltmek veya doğru parametre yönetimini uygulamak kalıcı altyapı rahatlaması sağlar.
Ayrıca, arama motoru robotları temiz mimari sinyalleri takdir eder. Bir tarayıcı hatalı URL yapıları nedeniyle kopya sayfalar bulduğunda, değerli tarama bütçesini aynı içeriği tekrar tekrar getirmek için harcar. İsrafın tam kaynağını teşhis ederek, tarayıcıyı benzersiz, yüksek değerli sayfalara yönlendirebilir, en önemli içeriğinizin daha hızlı indekslenmesini sağlarken sunucu CPU’sunu ve belleğini ödeme yapan müşterileriniz için koruyabilirsiniz.
Manuel limitler yerine 429 durum kodunu ne zaman kullanmalısınız?
Sunucunuzu 429 Too Many Requests durum koduyla yanıt verecek şekilde yapılandırmak, tarayıcıya altyapınızın şu anda zorlandığını bildirir. Bu yaklaşım dinamiktir çünkü kısıtlama sunucu yüksek gerilim yaşarken doğrudan uygulanır ve performans stabilize olduğunda istekler otomatik olarak tekrar artar. Statik direktiflerin aksine, 429 yanıtı donanımınız ile ziyaret eden tarayıcı arasında duyarlı bir geri bildirim döngüsü oluşturur.
Tipik bir kurumsal barındırma ortamında, 429 yanıtını uygulamak, Nginx veya Varnish gibi ters vekil sunucu (reverse proxy) katmanında bir hız sınırlama kuralı ayarlamayı içerir. Belirli bir bot kullanıcı aracısından gelen istekler dakika başına tanımlanan bir eşiği aştığında, vekil sunucu trafiği durdurur ve 429 durum kodunu döndürür. Bu, arka uç uygulama sunucularını bellek bağlantılarının tükenmesinden korur ve insan kullanıcıların yoğun alışveriş saatlerinde sinir bozucu zaman aşımı hataları yaşamadan kataloğa göz atmasına olanak tanır.
robots.txt içinde sayfaları engellemenin riskleri nelerdir?
URL’leri Disallow kuralı aracılığıyla engellemek, tarayıcının o isteği hemen işlemesini durdurur. Başka bir yere işaret eden kanonik etiketler içeren bir sayfayı engellerseniz, bot bu talimatları okumak için HTML’i asla ziyaret etmez. Bu çelişki, arama motorunu çelişkili sinyaller arasında seçim yapmaya zorlar, bu da genellikle tercih edilen sayfanın arama sonuçlarından tamamen hariç tutulmasıyla sonuçlanır.
Bir çevrimiçi kitapçının tarama bütçesinden tasarruf etmek için filtrelenmiş arama sonucu sayfalarını robots.txt’de engellediği, ancak bu filtrelenmiş sayfaların ana kategori köküne işaret eden gizli kanonik bağlantılar içerdiği bir senaryoyu düşünün. Tarayıcı Disallow talimatına saygı duyduğu için kapıda durur ve dosyayı asla indirmez. Sonuç olarak, arama motoru kanonik referansı asla görmez ve indeks içinde hangi URL sürümünün otoriteyi hak ettiği konusunda kafası karışır.
Bot tarama oranlarını yönetmek, kaynak koruması ve içerik keşfi arasında dikkatli bir denge gerektirir. Çok agresif engelleme yapmak genellikle sunucu performansına yardımcı olmaktan çok indekslemeye zarar verir.
Alien Road SEO ekibi
Alien Road bunu nasıl uygular
Tipik bir müşteri etkileşimi sırasında, ekibimiz sunucu günlüklerini ve arama konsolu verilerini analiz eden kapsamlı bir keşif aşamasıyla başlar. Herhangi bir crawl-delay ayarına dokunmadan önce parametre sayfalama sorunlarını haritalandırır ve kopya yolları temizleriz. Örneğin, binlerce filtrelenmiş kategori URL’sine sahip standart bir e-ticaret mağazasında, indeksi aç bırakmadan trafiği verimli bir şekilde yönlendirmek için clean-param kuralları uygular veya uygun kanonik hiyerarşiler kullanırız.
Uygulama iş akışımız, sıfır kesinti süresi ve maksimum arama görünürlüğü koruması sağlamak için katı bir kronolojik yolu izler. İlk olarak, yüksek frekanslı bot isteklerini belirlemek için yedi günlük ham sunucu erişim günlüklerini dışa aktarırız. Ardından, bu istekleri meşru keşif taramaları ve israf edici parametre döngüleri olarak kategorize ederiz. Son olarak, uygun sunucu tarafı durum yanıtlarını yapılandırır ve arama motoru tarayıcılarının site mimarisinde sorunsuz bir şekilde gezinebilmesini sağlamak için işaretlemeyi doğrularız.
Adım adım denetim süreci
- Yüksek frekanslı bot kullanıcı aracılarını ve aşırı veritabanı kaynakları tüketen hedef uç noktaları izole etmek için sunucu günlüklerini denetleyin.
- Kanonik etiketlerin tüm ana şablon düzenlerinde aktif robots.txt disallow kurallarıyla çelişmediğini doğrulayın.
- Ani trafik artışlarını manuel müdahale olmadan güvenli bir şekilde yönetmek için vekil sunucu katmanında dinamik 429 sunucu yanıtlarını yapılandırın.
- Yük azalmasını, indeks istikrarını ve arama gösterim tutarlılığını takip etmek için tarama istatistiklerini haftalık olarak izleyin.
Sunucu yapılandırmasına bir duvar değil, tarayıcıyla bir diyalog olarak yaklaşın. Net, tutarlı sinyaller öngörülebilir indeksleme davranışı sağlar.
Alien Road SEO ekibi
Bu hafta nereden başlamalı
En sık istenen on parametre URL’sini belirlemek için son yedi günün sunucu günlüklerini çekerek başlayın. Bu URL’lerin doğrudan engelleme yerine kanonik etiketler veya clean-param yapılandırmalarıyla ele alınması gereken kopya içerik sunup sunmadığını kontrol edin. Sunucunuzun ağır yük altında 429 yanıtları verme yeteneğini gözden geçirin ve çelişkili direktifleri ortadan kaldırmak için robots.txt dosyanızın tam bir denetimini planlayın.
Bu temel adımları atmak, uzun vadeli organik büyümeyi desteklerken teknik temelinizin istikrarlı kalmasını sağlar. Belirli platform kurulumunuz için karmaşık sunucu yanıt kurallarını yapılandırma konusunda rehberliğe ihtiyacınız varsa teknik ekibimize ulaşın.