Hız sınırlaması için 403 veya 404 hatalarını kullanmayın

17 Şubat 2023, Cuma

Son birkaç aydır, web sitesi sahiplerinin ve bazı içerik dağıtım ağlarının (CDN’lerin) 404 ve diğer 4xx istemci hatalarını (ancak
429değil) Googlebot’un tarama hızını düşürmek için kullanmaya çalıştıklarında bir artış fark ettik.

Bu blog yazısının kısa özeti şu: lütfen bunu yapmayın; elimizde
Googlebot’un tarama hızı nasıl düşürülürhakkında belgelerimiz mevcut. Bunun yerine onu okuyun ve Googlebot’un tarama hızını nasıl etkili bir şekilde yöneteceğinizi öğrenin.

Temellere dönüş: 4xx hataları istemci hataları içindir

Sunucuların istemcilere döndürdüğü 4xx hataları, sunucudan gelen ve istemcinin isteğinin bir şekilde hatalı olduğunu belirten bir sinyaldir. Bu kategorideki hataların çoğu oldukça zararsızdır: “bulunamadı” hataları, “yasak”, “ben bir çaydanlığım” (evet, bu gerçek bir şey). Bunlar sunucunun kendisinde bir sorun olduğunu göstermez.

Tek istisna 429“çok fazla istek” anlamına gelen durumdur. Bu hata, sevgili Googlebot’umuz da dahil olmak üzere, düzgün çalışan her robota, sunucuyu aşırı yüklediği için yavaşlaması gerektiğini belirten net bir sinyaldir.

Neden 4xx hataları Googlebot’u hız sınırlamak için kötüdür ( 429)

hariç)? İstemci hataları tam olarak budur: istemci hataları. Genellikle sunucuda bir hata olduğunu göstermezler: aşırı yüklendiğini veya kritik bir hatayla karşılaşıp isteğe yanıt veremediğini belirtmezler. Sadece istemcinin isteğinin bir şekilde hatalı olduğu anlamına gelirler. Örneğin bir 404 hatasını sunucunun aşırı yüklenmesiyle eş tutmanın mantıklı bir yolu yoktur. Bunun böyle olduğunu hayal edin: arkadaşınızın sitenizdeki yanlış sayfalara yanlışlıkla bağlantı vermesi nedeniyle bir 404 hata akışına maruz kalıyorsunuz ve buna bağlı olarak Googlebot taramayı yavaşlatıyor. Bu oldukça kötü olurdu. Aynı şey 403, 410, 418.

için de geçerli. Ve tekrar belirtelim, büyük istisna 429 durum kodudur, bu da “çok fazla istek” anlamına gelir.

Hız sınırlaması için 4xx kullanmak Googlebot’a ne yapar?

Tüm 4xx HTTP durum kodları (tekrar belirtelim, 429hariç) içeriğinizin Google Arama’dan kaldırılmasına neden olur. Daha da kötüsü, robots.txt dosyanızı da bir
4xx HTTP durum koduyla sunarsanız, sanki hiç yokmuş gibi değerlendirilir. Orada kirli çamaşırlarınızın taranmasını engelleyen bir kuralınız varsa, artık Googlebot da bunu biliyor demektir; bu durum her iki taraf için de pek iyi değil.

Googlebot’un tarama hızı nasıl düşürülür, doğru yol

Elimizde
Googlebot’un tarama hızı nasıl düşürülür
hakkında ve ayrıca
Googlebot’un (ve Arama dizine eklemenin) farklı HTTP durum kodlarını nasıl işlediğihakkında kapsamlı belgelerimiz var; bunlara mutlaka göz atın. Kısacası, şu iki şeyden birini yapmak istersiniz:

• Tarama hızını geçici olarak düşürmek için Search Console’u kullanın.
• Googlebot çok hızlı tarama yaparken ona bir 500, 503veya 429 HTTP durum kodu döndürün.

Daha fazla ipucu veya açıklama isterseniz, bize
Twitter üzerinden ulaşın veya
yardım forumlarımızda.

yayınlayın. Gary Illyes