Googlebot, tarayıcının sayfa içeriğini okuması engellendiğinde ancak URL’nin bir çıkmaz sokak olduğundan şüphelendiğinde robots.txt tarafından engellenen sayfalar için soft 404 hatalarını işaretler. Bu çakışma, robots.txt dosyasının dizine eklemeyi değil, yalnızca taramayı durdurması nedeniyle oluşur. Harici bağlantılar engellenmiş bir URL’yi işaret ederse, Google bunu veriler olmadan dizine ekleyebilir. Sistem bu dizine eklenmiş URL’de anlamlı içerik bulamadığında, genellikle sonucu soft 404 olarak etiketler.
Googlebot engellenen sayfalar için neden soft 404 rapor eder?
Soft 404 standart bir HTTP yanıt kodu değildir. Bir sayfa 200 OK durumu döndürdüğü ancak 404 Not Found sayfası gibi davrandığı zaman Google’ın uyguladığı bir etiketdir. Robots.txt’de bir URL’yi engellediğinizde Googlebot sayfanın içeriğini veya durum kodunu göremez. Bununla birlikte, dizine ekleme sistemi web’in başka bir yerinde bağlantıyı bulursa yine de URL’yi arama sonuçlarında göstermeye karar verebilir.
Sistem, bir sayfanın bağlantı verilecek kadar önemli olması durumunda içeriğe sahip olması gerektiğin varsayar. Tarayıcının bu içeriği görmesi engellenirse, sayfanın amacını tahmin etmek için çeşitli sinyaller kullanır. Bu sinyaller zayıfsa, Google Search Console URL’yi soft 404 olarak işaretleyebilir. Bu durum genellikle düzgün bir şekilde yönlendirilmek veya silinmek yerine engellenen eski URL’lerde meydana gelir. Yalnızca bozuk veya boş bir sayfa bulmak için bir arama sonucuna tıklayan kullanıcılar için kafa karıştırıcı bir deneyim yaratır.
Bir robots.txt dosyası, arama motoru tarayıcılarına tarayıcının sitenizde hangi URL’lere erişebileceğini bildirir.
Google Search Central
Google Search Console’da bu hataları nasıl tanımlarsınız?
Bu sorunları Google Search Console kontrol panelinizdeki Dizine Ekleme raporuna giderek bulabilirsiniz. ‘Hariç tutuldu’ veya ‘Uyarı’ olarak etiketlenen durumu arayın. Genellikle bu URL’ler ‘Dizine eklendi, ancak robots.txt tarafından engellendi’ altında görünür. Otomatik sistemler sayfanın esasen boş olduğunu belirlerse, soft 404 kategorisine taşınır. Bu raporları haftalık olarak izlemek site sağlığını korumak için sağlam bir yoldur.
- Şu anda hangi URL’lerin işaretlendiğini görmek için Dizine Ekleme raporunu açın.
- Googlebot’un engellenen bağlantıyı nasıl gördüğünü görmek için URL İnceleme aracını kullanın.
- Hatanın robots.txt dosyanızdaki son bir değişikliği takip edip etmediğini görmek için ‘Algılanma tarihi’ni kontrol edin.
- Karışık sinyaller göndermediğinizden emin olmak için engellenen URL listesini site haritanızla karşılaştırın.
- Engellenen sayfaların gerçek arama gösterimleri veya tıklamaları üretip üretmediğini doğrulayın.
Robots.txt sayfaları kaldırmak için doğru araç mı?
Birçok site sahibi, içeriği arama sonuçlarından gizlemek için yanlışlıkla robots.txt kullanır. Bu, soft 404 bayraklarına yol açan yaygın bir hatadır. Amacınız bir sayfayı Google dizininin dışında tutmaksa, bir tarama engeli çözüm değildir. Bunun yerine, Googlebot’un sayfayı taramasına izin vermeli ancak HTML başlığında bir ‘noindex’ meta etiketi veya HTTP üstbilgisinde bir X-Robots-Tag sunmalısınız.
Tarayıcıyı engellediğinizde, Googlebot asla noindex etiketini görmez. Bu, tarayıcı kaldırma talimatını okuyamadığı için URL’nin dizinde kaldığı bir döngü oluşturur. Örneğin, ikinci el kıyafetler satan bir Shopify mağazası dahili arama filtresi sayfalarını engelleyebilir. Bu filtreler bir blog yazısından bağlantı verilmişse, Google’da boş parçacıklar olarak görünürler. Teknik SEO denetimlerinin tarama ve dizine ekleme arasındaki farka odaklanmasının temel nedeni budur.
Bir web sayfasını Google’dan uzak tutmak için noindex ile dizine eklemeyi engelleyin veya sayfayı parola ile koruyun.
Google Search Central
Alien Road robots.txt yönetimini nasıl uygular?
Ekibimiz her teknik projeye mevcut tarama talimatlarının ayrıntılı bir denetimiyle başlar. Tipik bir çalışma için, sitenin dizine ekleme hedefleriyle çelişmediğinden emin olmak için her disallow kuralını haritalandırırız. Genellikle müşterilerin /scripts/ veya /styles/ gibi dizinleri engellediğini ve bunun Googlebot’un sayfayı doğru şekilde oluşturmasını (render etmesini) engellediğini görürüz. Bu işleme eksikliği, Google sayfanın boş bir kabuğunu gördüğü için soft 404’e yol açabilir.
Bir örnekte, binlerce filtre sayfasının robots.txt’de engellendiği ancak Search Console’da hâlâ soft 404 olarak göründüğü büyük bir e-ticaret platformuyla çalıştık. Robots.txt engellemelerini kaldırmak için bir strateji uyguladık ve bunları düşük değerli parametrelere noindex etiketleri uygulayan site genelinde bir mantıkla değiştirdik. Bu, Googlebot’un sayfaları görmesini, dizine eklenmemeleri gerektiğini fark etmesini ve bunları arama sonuçlarından temiz bir şekilde kaldırmasını sağladı. Alien Road, tarama bütçesinin çıkmaz sokaklar yerine yüksek dönüşümlü ürün sayfalarına harcanmasını sağlamak için bu tür teknik denetimi sağlar.
Görüntü dosyaları için robots.txt kullanmalı mısınız?
Görüntüleri robots.txt’de engellemek, biraz farklı bir şekilde de olsa soft 404 mantığının uygulanabileceği başka bir alandır. Googlebot-Image’in bir dosyayı indirmesini durdurabilseniz de, arama motoru görüntünün URL’sini içine gömülü olduğu sayfanın bağlamına göre yine de dizine ekleyebilir. Görüntü engellenmiş ancak sayfa taranmışsa, Google Görsel Arama’da bir yer tutucu veya yalnızca metin sonucu gösterebilir.
- Robots.txt: Dosyanın tarayıcı tarafından indirilmesini engeller.
- Noindex: Sayfanın veya dosyanın arama sonuçlarında tamamen görünmesini engeller.
- 404 Durumu: Google’a içeriğin gittiğini ve dizinden kaldırılması gerektiğini bildirir.
- 301 Yönlendirme: Hem kullanıcıları hem de tarayıcıları yeni, ilgili bir konuma gönderir.
- Parola Koruması: Hassas içeriği tüm tarayıcılardan gizlemenin en güvenilir yolu.
Soft 404 bayraklarını çözmek için en iyi uygulamalar
Robots.txt’nin neden olduğu bir soft 404’ü düzeltmek için öncelikle sayfanın var olup olmaması gerektiğine karar vermelisiniz. Sayfa sitenizin geçerli bir parçasıysa, disallow kuralını robots.txt dosyanızdan kaldırın. Bu, Googlebot’un içeriği taramasına ve bunun meşru bir sayfa olduğunu fark etmesine olanak tanır. Tarandıktan sonra soft 404 uyarısı önümüzdeki birkaç gün içinde kaybolacaktır.
Sayfa dizinde olmamalıysa, iki net yolunuz var. Sayfanın gerçek bir 404 veya 410 kodu döndürmesine izin verebilir veya bir noindex etiketi kullanabilirsiniz. Her iki yöntem de URL’yi robots.txt’de geçici olarak engellemeyi kaldırmanızı gerektirir. Googlebot 404 kodunu veya noindex etiketini görmek için sayfaya ulaşabilmelidir. Google dizinini güncelledikten ve URL’yi kaldırdıktan sonra, daha küçük siteler için bu nadiren gerekli olsa da, tarama bütçesinden tasarruf etmek için yolu tekrar engellemeyi seçebilirsiniz.
Bu hafta robots.txt dosyanızı nasıl denetlersiniz?
Mevcut robots.txt dosyanızı indirerek ve bunu Google Search Console’daki ‘Dizine eklendi, ancak engellendi’ listesiyle karşılaştırarak başlayın. Kurallarınızın çok geniş olup olmadığını görmek için Robots.txt Test Aracı’nı kullanın. Bir aşama (staging) sitesinden kalmış olabilecek herhangi bir ‘Disallow: /’ kuralı olup olmadığını kontrol edin. Soft 404 olarak işaretlenmiş URL’ler bulursanız, en yüksek iç bağlantı sayısına sahip olanlara öncelik verin. Bu çakışmaları ortadan kaldırmak, arama motorlarının site yapınızı daha net anlamasına yardımcı olacaktır.