Kaynak Tüketen Googlebot İsteklerinin Belirlenmesi ve Engellenmesi

Kaynak tüketen Googlebot isteklerini engellemek, aşırı sunucu CPU ve bellek tüketen belirli URL’leri veya dosya kalıplarını belirlemeyi, ardından erişimi yönetmek için robots.txt direktiflerini veya HTTP durum kodlarını kullanmayı içerir. Bu süreç, tarayıcının en değerli içeriğinizi bulmasına izin verirken sunucunuzun kararlı kalmasını sağlar. Sunucu loglarını ve Search Console’u izleyerek, tarama sürecini yavaşlatan ve site hızınızı etkileyen betikleri veya büyük dosyaları tam olarak belirleyebilirsiniz.

Kaynak tüketen bir isteği ne karakterize eder?

Kaynak tüketen bir istek, bir tarayıcı işlenmesi için önemli sunucu çabası gerektiren bir sayfayı ziyaret ettiğinde gerçekleşir. Bu durum genellikle içeriği anında oluşturan dinamik URL’lerde yaşanır. Örneğin, bir e-ticaret sitesindeki arama sonuçları sayfası, Googlebot her ziyaret ettiğinde karmaşık veritabanı sorgularını tetikleyebilir. Bu istekler, basit bir statik HTML dosyasından daha fazla RAM ve CPU tüketir.

Büyük medya dosyaları ve optimize edilmemiş betikler de bu kategoriye girer. Googlebot kısa bir süre içinde yüzlerce yüksek çözünürlüklü görseli veya büyük PDF belgesini getirmeye çalışırsa, sunucu yükü artar. Bu davranış, gerçek insan kullanıcılar için siteyi yavaşlatabilir. Bu kalıpları belirlemek, etkili tarayıcı yönetimine doğru atılan ilk adımdır.

Sunucu logları tarama yoğunluğunu nasıl belirleyebilir?

Sunucu logları, Googlebot ile web siteniz arasındaki her etkileşimin ham kaydını sağlar. Her giriş IP adresini, zaman damgasını ve istenen belirli URL’yi içerir. Bu logları Googlebot kullanıcı aracısı için filtreleyerek, sitenizin hangi bölümlerinin daha sık tarandığını görebilirsiniz. Aynı dizine yapılan yüksek frekanslı isabetler genellikle bir tarama döngüsüne veya verimsiz bir site yapısına işaret eder.

Web sunucunuz, Googlebot’tan gelenler de dahil olmak üzere sitenize yapılan her isteğin kaydını tutar.

Google Search Central

Bu istekler için yanıt süresini analiz etmek darboğazları bulmanıza yardımcı olur. Belirli URL’ler tarayıcıya yanıt vermek için sürekli olarak 2 saniyeden fazla zaman alıyorsa, bunlar kaynak tüketicidir. Bu verileri çıkarmak için Linux sunucularında awk veya grep gibi araçları kullanabilirsiniz. Log formatınızda yüksek ‘time taken’ değerlerine sahip 200 gibi durum kodlarını arayın.

Sunucu loglarında izlenmesi gereken ortak alanlar

• İstemci IP Adresi: İsteğin gerçekten bir Google IP aralığından gelip gelmediğini doğrular.
• İstek URL’si: ?sort=price gibi sorgu parametreleri dahil olmak üzere belirli yolu tanımlar.
• HTTP Durum Kodu: İsteğin başarılı olup olmadığını (200) veya bir hata oluşturup oluşturmadığını (500) gösterir.
• Alınan Süre: Sunucunun isteği işlemek için harcadığı milisaniyeleri ölçer.
• Kullanıcı Aracısı: Googlebot’un mobil mi yoksa masaüstü sürümü mü olduğunu doğrular.

Tarayıcı erişimini yönetmek için robots.txt kullanımı

robots.txt dosyası, arama motoru tarayıcılarıyla iletişim kurmak için birincil aracınızdır. Googlebot’un kaynak tüketen dizinlere erişmesini önlemek için ‘Disallow’ direktifini kullanabilirsiniz. Örneğin, dahili arama sayfalarınız sunucuyu yavaşlatıyorsa, /search/ yolunu tamamen engelleyebilirsiniz. Bu, tarayıcının o pahalı veritabanı çağrılarını başlatmasını durdurur.

Doğru yapılandırma, tarayıcının zamanını arama görünürlüğünü artıran sayfalara harcamasını sağlar.

Google Search Central

Direktiflerinizde spesifik olmak önemlidir. Temel CSS veya JavaScript dosyalarını engellemek, Googlebot’un sayfalarınızı doğru şekilde oluşturmasını engelleyebilir. Bu, sitenizin arama sonuçlarında bozuk göründüğü indeksleme sorunlarına yol açabilir. robots.txt değişikliklerinizi üretime göndermeden önce her zaman Google Search Console robots.txt Tester’da test edin.

Googlebot neden bazen bir sunucuyu aşırı yükler?

Googlebot, sitenizi sunucunuzun izin verdiği kadar hızlı, sorun yaratmadan taramaya çalışır. Ancak, sunucu yapılandırmanız zayıfsa veya sitenizde ‘sonsuz boşluklar’ varsa, tarayıcı istemeden bir yük artışına neden olabilir. Sonsuz boşluklar genellikle takvim araçları veya sonsuz sayıda benzersiz URL oluşturan karmaşık filtreleme sistemleri tarafından oluşturulur. Bu benzersiz URL’lerin her biri tarayıcı için yeni bir sayfa gibi görünür.

Ayrıca, yeni içerikteki ani bir artış, tarama etkinliğinde bir sıçramayı tetikleyebilir. Bir siteyi taşırsanız veya binlerce yeni ürün yüklerseniz, Googlebot bu öğeleri keşfetmek ve indekslemek için daha fazla çalışacaktır. Sunucu bu hacim için hazır değilse, hem bota hem de müşterilerinize istekleri sunmakta zorlanabilir. Search Console’daki Tarama İstatistikleri raporunu izlemek, bu eğilimleri erkenden görmenize yardımcı olur.

Alien Road tarayıcı yönetimini nasıl uygular

Alien Road’da, müşterilerimizin sunucu kaynaklarını korurken güçlü arama görünürlüğünü sürdürmek için sistematik bir süreç izliyoruz. En çok işlem süresi tüketen URL’lerin ilk %5’ini belirlemek için sunucu loglarının kapsamlı bir denetimiyle başlıyoruz. Tipik bir hesapta, genellikle dinamik filtrelerin veya oturum kimliklerinin ana suçlu olduğunu buluyoruz. Daha sonra bu durumları ele almak için özel kurallar uyguluyoruz.

Örneğin, karmaşık ürün etiketlerine sahip bir Shopify mağazası için Googlebot’un binlerce filtre kombinasyonunu taradığını görebiliriz. Bu davranışı sınırlamak için URL Parametreleri aracından ve robots.txt’den yararlanıyoruz. Ekibimiz, Googlebot için ortalama yanıt süresi belirli bir eşiği aşarsa bizi bilgilendiren otomatik uyarılar ayarlar. Bu, sunucu yavaşlaması kullanıcı deneyimini etkilemeden önce tepki vermemizi sağlar.

Adım adım denetim sürecimiz

• Log Toplama: Uzun vadeli tarama kalıplarını görmek için 30 günlük ham sunucu loglarını topluyoruz.
• Bot Doğrulama: Trafiğin meşru Googlebot olduğundan ve bir kazıyıcı olmadığından emin olmak için ters DNS aramaları yapıyoruz.
• Yol Tanımlama: Sitenin hangi bölümlerinin en çok kaynak tükettiğini bulmak için URL’leri dizine göre gruplandırıyoruz.
• Direktif Uygulama: Temel olmayan, ağır yolları engellemek için robots.txt dosyasını güncelliyoruz.
• Performans İzleme: Yükün azaldığını doğrulamak için GSC’deki ‘Tarama İstatistikleri’ni izliyoruz.

Googlebot’u yavaşlatmak için durum kodlarını kullanabilir misiniz?

Sunucunuz acil stres altındaysa, Googlebot’a yavaşlamasını bildirmek için HTTP durum kodlarını kullanabilirsiniz. 429 (Çok Fazla İstek) durum kodu özellikle bu amaç için tasarlanmıştır. Googlebot bir 429 kodu aldığında, tarama hızını bir süreliğine azaltması gerektiğini anlar. Bu, yüksek trafik sırasında toplam sunucu çökmesini önlemek için geçici bir çözümdür.

Diğer bir seçenek 503 (Hizmet Kullanılamıyor) durum kodudur. Bu, tarayıcıya sunucunun isteği geçici olarak işleyemediğini söyler. Ayrıca, tarayıcının ne zaman geri dönmesi gerektiğini önermek için 503 koduyla ‘Retry-After’ başlığını kullanabilirsiniz. Etkili olsa da, bunlar idareli kullanılmalıdır, çünkü kalıcı 503 veya 429 hataları sonunda sayfaların indeksten kaldırılmasına yol açabilir.

Önümüzdeki günler için eylem planı

Google Search Console’a erişerek ve Ayarlar menüsü altındaki ‘Tarama İstatistikleri’ raporuna giderek başlayın. ‘Ortalama yanıt süresi’ grafiğinde keskin zirveler olup olmadığını kontrol edin. Eğer ani yükselişler görüyorsanız, barındırma sağlayıcınızdan veya BT ekibinizden ham sunucu günlüklerinizi talep edin. Ağır kaynakları belirlemek için bu yoğun zamanlarda istenen URL’leri arayın.

Sorunlu yolları belirledikten sonra, bunları engellemek için robots.txt dosyanızı güncelleyin. Kaynaklar, büyük JavaScript dosyaları gibi sayfa oluşturma için gerekliyse, kodu optimize etmeyi veya sunucu yükünü hafifletmek için bir İçerik Dağıtım Ağı (CDN) kullanmayı düşünün. Değişikliklerinizin sunucu performansı üzerinde istenen etkiyi yarattığından emin olmak için Tarama İstatistiklerini günlük olarak izlemeye devam edin.