Google Arama tarama hatalarını giderin

Siteniz için Google Arama tarama sorunlarını gidermeye ve düzeltmeye yönelik temel adımlar şunlardır:

1. Googlebot’un sitenizde erişilebilirlik sorunlarıyla karşılaşıp karşılaşmadığını kontrol edin.
2. Taranması gerektiği halde taranmayan sayfalarınız olup olmadığını kontrol edin.
3. Sitenizin herhangi bir bölümünün mevcut durumdan daha hızlı taranması gerekip gerekmediğini kontrol edin.
4. Sitenizin tarama verimliliğini artırın.
5. Sitenizin aşırı taranması durumunu yönetin.

Googlebot’un sitenizde erişilebilirlik sorunlarıyla karşılaşıp karşılaşmadığını kontrol edin

Site erişilebilirliğinizi iyileştirmek, tarama bütçenizi mutlaka artırmaz; Google, daha önce açıklandığı gibi tarama talebine dayalı olarak en iyi tarama hızını belirler. Ancak erişilebilirlik sorunları, Google’ın sitenizi istediği kadar taramasını engeller.

Tanılama:

Şu aracı kullanın: Tarama İstatistikleri raporu
Googlebot’un siteniz için tarama geçmişini görmek için. Rapor, Google’ın sitenizde erişilebilirlik sorunlarıyla ne zaman karşılaştığını gösterir. Siteniz için erişilebilirlik hataları veya uyarıları bildirilirse, şuradaki Ana makine erişilebilirliği grafiklerinde Googlebot isteklerinin kırmızı sınır çizgisini aştığı durumları arayın, hangi URL’lerin başarısız olduğunu görmek için grafiğe tıklayın ve bunları sitenizdeki sorunlarla ilişkilendirmeye çalışın.

Ayrıca şunları da kullanabilirsiniz:
URL Denetleme Aracı
sitenizdeki birkaç URL’yi test etmek için. Araç
Ana makine yükü aşıldı
uyarıları döndürürse, bu, Googlebot’un sitenizden keşfettiği kadar çok URL’yi tarayamadığı anlamına gelir.

Çözüm:

• Şu belgeyi okuyun: Tarama İstatistikleri raporu belgeleri bazı erişilebilirlik sorunlarını nasıl bulacağınızı ve ele alacağınızı öğrenmek için.
• Taranmasını istemediğiniz sayfaların taranmasını engelleyin. (Bkz. envanterinizi yönetin)
• Sayfa yükleme ve oluşturma hızını artırın. (Bkz. Sitenizin tarama verimliliğini artırın)
• Sunucu kapasitenizi artırın. Google sitenizi sürekli olarak sunum kapasitesi sınırında tarıyor gibi görünüyorsa ancak yine de taranması veya güncellenmesi gereken önemli URL’leriniz varsa, daha fazla sunum kaynağına sahip olmak Google’ın sitenizden daha fazla sayfa talep etmesini sağlayabilir. Şuradaki ana makine erişilebilirlik geçmişinizi kontrol edin:
  Tarama İstatistikleri raporu Google’ın tarama hızının sınır çizgisini sık sık aşıp aşmadığını görmek için. Eğer öyleyse, sunum kaynaklarınızı bir ay boyunca artırın ve aynı dönemde tarama isteklerinin artıp artmadığını gözlemleyin.

Sitenizin taranmayan ancak taranması gereken bölümleri olup olmadığını kontrol edin

Google, bulabildiği tüm yüksek kaliteli ve kullanıcı için değerli içeriği dizine eklemek amacıyla sitenizde gerektiği kadar zaman harcar. Googlebot’un önemli içeriği kaçırdığını düşünüyorsanız, ya içeriği bilmiyordur, içerik Google’dan engellenmiştir ya da site erişilebilirliğiniz Google’ın erişimini kısıtlıyordur (veya Google sitenize aşırı yüklenmemeye çalışıyordur).

Tanılama:

Search Console, siteniz için URL veya yola göre filtrelenebilen bir tarama geçmişi sağlamaz, ancak belirli URL’lerin
Googlebottarafından taranıp taranmadığını görmek için site günlüklerinizi inceleyebilirsiniz. Bu taranan URL’lerin dizine eklenip eklenmediği başka bir konudur.

Çoğu site için yeni sayfaların fark edilmesinin en az birkaç gün süreceğini unutmayın; haber siteleri gibi zamana duyarlı siteler haricinde, çoğu site URL’ler için aynı gün tarama beklememelidir.

Çözüm:

Sitenize sayfalar ekliyorsanız ve bunlar makul bir süre içinde taranmıyorsa, ya Google bunları bilmiyordur, içerik engellenmiştir, siteniz maksimum sunum kapasitesine ulaşmıştır ya da tarama bütçeniz tükenmiştir.

1. Google’a yeni sayfalarınızı bildirin: yeni URL’leri yansıtacak şekilde site haritalarınızı güncelleyin.
2. Yanlışlıkla sayfaları engellemediğinizden emin olmak için robots.txt kurallarınızı inceleyin.
3. Tarama önceliklerinizi gözden geçirin (diğer bir deyişle, tarama bütçenizi akıllıca kullanın). Envanterinizi yönetin ve sitenizin tarama verimliliğini artırın.
4. Sunum kapasitenizin tükenmediğinden emin olun. Googlebot, sunucularınızın tarama isteklerine yanıt vermekte zorlandığını tespit ederse tarama hızını düşürecektir.

İçerik için yeterli değer veya kullanıcı talebi yoksa, taranmış olsa bile sayfaların arama sonuçlarında gösterilmeyebileceğini unutmayın.

Güncellemelerin yeterince hızlı taranıp taranmadığını kontrol edin

Sitenizdeki yeni veya güncellenmiş sayfaları kaçırıyorsak, belki de onları görmemişizdir veya güncellendiklerini fark etmemişizdir. Sayfa güncellemelerinden haberdar olmamıza nasıl yardımcı olabileceğiniz aşağıda açıklanmıştır.

Google’ın sayfaları makul bir süre içinde kontrol edip dizine eklemeye çalıştığını unutmayın. Çoğu site için bu süre üç gün veya daha fazladır. Haber sitesi değilseniz veya başka yüksek değerli, son derece zamana duyarlı içeriğiniz yoksa, Google’ın sayfaları yayınladığınız gün dizine eklemesini beklemeyin.

Tanılama:

Belirli URL’lerin Googlebot.

tarafından ne zaman tarandığını görmek için site günlüklerinizi inceleyin. Dizin oluşturma tarihini öğrenmek için URL Denetleme aracını kullanın veya güncellediğiniz URL’ler için arama yapın.

Çözüm:

Yapılması gerekenler:

• Bir haber site haritası kullanın (sitenizde haber içeriği varsa).
• Şu etiketi kullanın: <lastmod> dizine eklenmiş bir URL’nin ne zaman güncellendiğini belirtmek için site haritalarında.
• Bir taranabilir URL yapısı kullanın (Google’ın sayfalarınızı bulmasına yardımcı olmak için).
• Standart, taranabilir <a> bağlantılar
  sağlayın (Google’ın sayfalarınızı bulmasına yardımcı olmak için).
• Siteniz mobil ve masaüstü sürümler için ayrı HTML kullanıyorsa, mobil sürümde masaüstü sürümündekiyle aynı bağlantı kümesini sağlayın. Mobil sürümde aynı bağlantı kümesini sağlamak mümkün değilse, bunların bir
  site haritası dosyasına dahil edildiğinden emin olun. Google yalnızca
  mobil sürümü dizine ekler ve orada gösterilen bağlantıları sınırlamak yeni sayfaların keşfini yavaşlatabilir.

Kaçınılması gerekenler:

• Aynı, değiştirilmemiş site haritasını günde birden fazla kez göndermek.
• Googlebot’un bir site haritasındaki her şeyi taramasını veya bunları hemen taramasını beklemek. Site haritaları Googlebot için yararlı önerilerdir, kesin gereklilikler değildir.
• Site haritalarınıza Arama’da görünmesini istemediğinizURL’leri dahil etmek. Bu, tarama bütçenizi dizine eklenmesini istemediğiniz sayfalarda boşa harcayabilir.

Sitenizin tarama verimliliğini artırın

Sayfa yükleme hızınızı artırın

Google’ın taraması bant genişliği, zaman ve Googlebot örneklerinin kullanılabilirliği ile sınırlıdır. Sunucunuz isteklere daha hızlı yanıt verirse, sitenizdeki daha fazla sayfayı tarayabiliriz. Bununla birlikte, Google yalnızca yüksek kaliteli içeriği taramak ister, bu nedenle düşük kaliteli sayfaları hızlandırmak Googlebot’u sitenizin daha fazlasını taramaya teşvik etmeyecektir; aksine, sitenizde yüksek kaliteli içeriği kaçırdığımızı düşünürsek, muhtemelen bu içeriği taramak için bütçenizi artıracağız.

Sayfalarınızı ve kaynaklarınızı tarama için şu şekilde optimize edebilirsiniz:

• Büyük ancak önemsiz kaynakların robots.txt kullanılarak Googlebot tarafından yüklenmesini önleyin. Yalnızca kritik olmayan kaynakları, yani sayfanın anlamını anlamak için önemli olmayan kaynakları (dekoratif resimler gibi) engellediğinizden emin olun.
• Sayfalarınızın hızlı yüklendiğinden emin olun.
• Tarama üzerinde olumsuz etkisi olan uzun yönlendirme zincirlerine dikkat edin.
• Hem sunucu isteklerine yanıt verme süresi hem de sayfaları oluşturmak için gereken süre, resimler ve komut dosyaları gibi gömülü kaynaklar için yükleme ve çalışma süresi dahil olmak üzere önemlidir. Dizin oluşturma için gereken büyük veya yavaş kaynakların farkında olun.

İçerik değişikliklerini HTTP durum kodlarıyla belirtin

Google genellikle
If-Modified-Since ve If-None-Match HTTP istek başlıklarını
tarama için destekler. Google’ın tarayıcıları tüm tarama denemelerinde başlıkları göndermez; bu, isteğin kullanım durumuna bağlıdır (örneğin,
AdsBot başlıkları ayarlama olasılığı daha yüksektir: If-Modified-Since ve If-None-Match HTTP istek başlıkları). Tarayıcılarımız If-Modified-Since başlığını gönderirse, başlığın değeri içeriğin en son tarandığı tarih ve saattir
. Bu değere dayanarak, sunucu yanıt gövdesi olmayan bir
304 (Değiştirilmedi) HTTP durum kodu döndürmeyi seçebilir, bu durumda Google en son taradığı içerik sürümünü yeniden kullanacaktır. İçerik, tarayıcı tarafından If-Modified-Since başlığında belirtilen tarihten daha yeniyse, sunucu yanıt gövdesiyle birlikte bir
200 (Tamam) HTTP durum kodu döndürebilir.

İstek başlıklarından bağımsız olarak, içerik Googlebot en son URL’yi ziyaret ettiğinden beri değişmediyse, herhangi bir Googlebot isteği için 304 (Değiştirilmedi) HTTP durum kodu ve yanıt gövdesi göndermeyebilirsiniz. Bu, sunucunuzun işlem süresinden ve kaynaklarından tasarruf etmesini sağlayacak ve bu da dolaylı olarak tarama verimliliğini artırabilecektir.

Arama sonuçlarında istemediğiniz URL’leri gizleyin

Sunucu kaynaklarını gereksiz sayfalarda boşa harcamak, sizin için önemli olan sayfalardan gelen tarama etkinliğini azaltabilir ve bu da bir sitedeki harika yeni veya güncellenmiş içeriğin keşfedilmesinde önemli bir gecikmeye neden olabilir.

Sitenizde Arama tarafından taranmasını istemediğiniz birçok URL’yi açığa çıkarmak, bir sitenin taranmasını ve dizine eklenmesini olumsuz etkileyebilir. Tipik olarak bu URL’ler aşağıdaki kategorilere girer:

• Fasetli gezinme
  ve oturum tanımlayıcıları: Fasetli gezinme genellikle sitedeki yinelenen içeriktir; oturum tanımlayıcıları ve sayfayı yalnızca sıralayan veya filtreleyen diğer URL parametreleri yeni içerik sağlamaz. Nasıl yapılacağını öğrenin:
  fasetli gezinme sayfalarının taranmasını yönetme.
• Yinelenen içerik: Gereksiz taramayı önlemek için Google’ın yinelenen içeriği tanımlamasına yardımcı olun.
• soft 404 sayfaları: Bir sayfa artık mevcut olmadığında bir 404
  kodu döndürün.
• Ele geçirilmiş sayfalar: Şunu kontrol ettiğinizden emin olun: Güvenlik Sorunları raporu ve bulduğunuz ele geçirilmiş sayfaları düzeltin veya kaldırın.
• Sonsuz boşluklar ve vekiller: Bunları robots.txt ile taramadan engelleyin.
• Düşük kaliteli ve spam içerik: Kaçınmak iyidir, elbette.
• Alışveriş sepeti sayfaları, sonsuz kaydırma sayfaları ve bir işlem gerçekleştiren sayfalar (“kaydol” veya “şimdi satın al” sayfaları gibi).

Yapılması gerekenler:

• Google’ın bir kaynağı veya sayfayı hiç taramasını istemiyorsanız robots.txt kullanın.
• Ortak bir kaynak birden fazla sayfada yeniden kullanılıyorsa (paylaşılan bir resim veya JavaScript dosyası gibi), kaynağa her sayfada aynı URL’den başvurun, böylece Google aynı kaynağı birden çok kez talep etmeye gerek kalmadan önbelleğe alabilir ve yeniden kullanabilir.

Kaçınılması gerekenler:

• Siteniz için tarama bütçesini yeniden tahsis etmenin bir yolu olarak robots.txt’ye düzenli olarak sayfa veya dizin eklemeyin veya çıkarmayın. robots.txt’yi yalnızca uzun vadede Google’da görünmesini istemediğiniz sayfalar veya kaynaklar için kullanın.
• Bütçeyi yeniden tahsis etmek için site haritalarını döndürmeyin veya başka geçici gizleme mekanizmaları kullanmayın.

soft 404 hataları

A soft 404 hatası, kullanıcıya sayfanın mevcut olmadığını söyleyen bir sayfa döndüren bir URL’nin aynı zamanda bir
200 (başarılı)
durum kodudöndürmesidir. Bazı durumlarda, ana içeriği olmayan veya boş bir sayfa olabilir.

Bu tür sayfalar, web sitenizin web sunucusu veya içerik yönetim sistemi ya da kullanıcının tarayıcısı tarafından çeşitli nedenlerle oluşturulabilir. Örneğin:

• Eksik bir sunucu tarafı içerme dosyası.
• Veritabanına bozuk bir bağlantı.
• Boş bir dahili arama sonucu sayfası.
• Yüklenmemiş veya başka bir şekilde eksik bir JavaScript dosyası.

Bir 200 (başarılı) durum kodu döndürüp ardından sayfada bir hata mesajı veya bir tür hata görüntülemek veya önermek kötü bir kullanıcı deneyimidir. Kullanıcılar sayfanın canlı, çalışan bir sayfa olduğunu düşünebilir ancak daha sonra bir tür hatayla karşılaşırlar. Bu tür sayfalar Arama’dan hariç tutulur.

Google’ın algoritmaları, içeriğine dayanarak sayfanın aslında bir hata sayfası olduğunu tespit ettiğinde, Search Console sitenin soft 404 hatasını
Sayfa Dizine Ekleme raporunda.

gösterecektir. Düzeltme: soft 404 hataları

Sayfanın durumuna ve istediğiniz sonuca bağlı olarak, soft 404
hatalarını birden fazla şekilde çözebilirsiniz:

• Sayfa ve içerik artık mevcut değil.
• Sayfa veya içerik artık başka bir yerde.
• Sayfa ve içerik hala mevcut.

Kullanıcılarınız için en iyi çözümün hangisi olacağını belirlemeye çalışın.

Sayfa ve içerik artık mevcut değil

Sayfayı kaldırdıysanız ve sitenizde benzer içeriğe sahip bir yedek sayfa yoksa, sayfa için bir
404 (bulunamadı) veya 410 (gitti)
yanıt (durum) kodu döndürün. Bu durum kodları arama motorlarına sayfanın mevcut olmadığını ve arama motorlarının sayfayı dizine eklemesini istemediğinizi belirtir.

Sunucunuzun yapılandırma dosyalarına erişiminiz varsa, bu hata sayfalarını özelleştirerek kullanıcılar için yararlı hale getirebilirsiniz. İyi bir özel 404 sayfa, insanların aradıkları bilgileri bulmalarına yardımcı olur ve ayrıca insanların sitenizi daha fazla keşfetmelerini teşvik eden diğer yararlı içerikleri sağlar. Yararlı bir özel
404 sayfa tasarlamak için bazı ipuçları:

• Ziyaretçilere aradıkları sayfanın bulunamadığını açıkça söyleyin. Dostça ve davetkar bir dil kullanın.
• Özel 404 sayfanızın sitenizin geri kalanıyla aynı görünüme ve hisse (gezinme dahil) sahip olduğundan emin olun.
• En popüler makalelerinize veya gönderilerinize bağlantıların yanı sıra sitenizin ana sayfasına bir bağlantı eklemeyi düşünün.
• Kullanıcıların bozuk bir bağlantıyı bildirmeleri için bir yol sağlamayı düşünün.

Özel 404 sayfalar yalnızca kullanıcılar için oluşturulur. Bu sayfalar bir arama motoru perspektifinden yararsız olduğundan, sayfaların dizine eklenmesini önlemek için sunucunun bir 404 HTTP durum kodu döndürdüğünden emin olun.

Sayfa veya içerik artık başka bir yerde

Sayfanız taşındıysa veya sitenizde net bir yedeği varsa, kullanıcıyı yönlendirmek için bir
301 (kalıcı yönlendirme)
döndürün. Bu, tarama deneyimlerini kesintiye uğratmayacak ve aynı zamanda arama motorlarına sayfanın yeni konumu hakkında bilgi vermenin harika bir yoludur. URL’nizin gerçekten doğru kodu döndürüp döndürmediğini doğrulamak için
URL Denetleme aracını
kullanın.

Sayfa ve içerik hala mevcut

Aksi takdirde iyi bir sayfa bir soft 404 hatasıyla işaretlendiyse, muhtemelen Googlebot için düzgün yüklenmemiştir, kritik kaynakları eksiktir veya oluşturma sırasında belirgin bir hata mesajı görüntülemiştir. Oluşturulan içeriği ve döndürülen HTTP kodunu incelemek için
URL Denetleme aracını
kullanın. Oluşturulan sayfa boşsa, neredeyse boşsa veya içerikte bir hata mesajı varsa, sayfanız yüklenemeyen birçok kaynağa (resimler, komut dosyaları ve diğer metin dışı öğeler) başvuruyor olabilir, bu da bir soft 404olarak yorumlanabilir. Kaynakların yüklenememesinin nedenleri arasında engellenen kaynaklar (
robots.txttarafından engellenen), bir sayfada çok fazla kaynak olması, çeşitli sunucu hataları veya yavaş yüklenen ya da çok büyük kaynaklar yer alır.

Sitenizin aşırı taranması durumunu yönetin (acil durumlar)

Googlebot’un sitenizi tarama istekleriyle bunaltmasını önlemek için algoritmaları vardır. Ancak, Googlebot’un sitenizi bunalttığını fark ederseniz yapabileceğiniz birkaç şey vardır.

Tanılama:

Sunucunuzu sitenize gelen aşırı Googlebot istekleri için izleyin.

Çözüm:

Acil bir durumda, Googlebot’tan gelen bunaltıcı bir taramayı yavaşlatmak için aşağıdaki adımları öneririz:

1. Döndürün 503 veya 429 HTTP yanıt durum kodları geçici olarak sunucunuz aşırı yüklendiğinde Googlebot istekleri için. Googlebot bu URL’leri yaklaşık 2 gün boyunca tekrar deneyecektir. Birkaç günden fazla “erişilebilirlik yok” kodları döndürmenin Google’ın sitenizdeki URL’leri kalıcı olarak yavaşlatmasına veya taramayı durdurmasına neden olacağını unutmayın, bu nedenle ek sonraki adımları izleyin.
2. Tarama hızı düştüğünde, döndürmeyi durdurun 503 veya 429 HTTP yanıt durum kodları tarama istekleri için; 2 günden fazla 503 veya 429 döndürmek, Google’ın bu URL’leri dizinden düşürmesine neden olacaktır.
3. Taramanızı ve ana makine kapasitenizi zaman içinde izleyin.
4. Sorunlu tarayıcı
   AdsBot tarayıcılarındanbiriyse, sorun muhtemelen Google’ın taramaya çalıştığı siteniz için
   Dinamik Arama Ağı Reklamı hedefleri
   oluşturmuş olmanızdır. Bu tarama her 3 haftada bir tekrarlanacaktır. Bu taramaları işleyecek sunucu kapasiteniz yoksa, reklam hedeflerinizi sınırlayın veya sunum kapasitenizi artırın.