Hosting sağlayıcıları ve web yöneticileri için ipuçları

6 Aralık 2011, Salı

Forumlarımızdaki bazı web yöneticileri, sitelerini etkileyen barındırma (hosting) kaynaklı sorunlar hakkında sorular soruyor. Hem barındırma sağlayıcılarının hem de web yöneticilerinin bu tür sorunları tanımasına, teşhis etmesine ve çözmesine yardımcı olmak için, karşılaştığımız yaygın sorunlardan bazılarını paylaşmak ve bunları nasıl düzeltebileceğiniz konusunda önerilerde bulunmak istiyoruz.

• Googlebot taramasının engellenmesi. Bu, genellikle bir güvenlik duvarı veya DoS koruma sistemindeki yanlış yapılandırmadan ve bazen de sitenin üzerinde çalıştığı içerik yönetim sisteminden kaynaklanan çok yaygın bir sorundur. Koruma sistemleri, iyi bir barındırma hizmetinin önemli bir parçasıdır ve genellikle olağan dışı yüksek seviyedeki sunucu isteklerini, bazen otomatik olarak, engelleyecek şekilde yapılandırılırlar.
  Ancak Googlebot, genellikle insan kullanıcılardan daha fazla istek gerçekleştirdiği için, bu koruma sistemleri Googlebot’u engellemeye ve web sitenizi taramasını önlemeye karar verebilir. Bu tür bir sorunu kontrol etmek için Webmaster Araçları’ndaki
  Googlebot gibi getir işlevini
  kullanın ve Webmaster Araçları’nda gösterilen diğer
  tarama hatalarını
  kontrol edin.

  Googlebot’un taraması üzerinde daha fazla kontrol sahibi olmak ve tarama verimliliğini artırmak isteyen web yöneticileri ve barındırma sağlayıcıları için çeşitli araçlar sunuyoruz:

• Googlebot’un taramasını
  robots dışlama protokolü ve
  URL parametrelerini yapılandırma yöntemlerini kullanarak nasıl kontrol edeceğiniz hakkında ayrıntılı yardım sunuyoruz.
• Googlebot kullanıcı aracısını (user-agent) kullanan kötü niyetli botlardan endişe ediyorsanız,
  bir tarayıcının gerçekten Googlebot olup olmadığını doğrulamanın bir yolunu sunuyoruz.
• Googlebot’un sitenizi ne kadar yoğunlukta tarayacağını değiştirmek isterseniz, web sitenizi Webmaster Araçları’nda doğrulayabilir ve
  Googlebot’un tarama hızını değiştirebilirsiniz.
  Barındırma sağlayıcıları da IP adreslerinin sahipliğini doğrulayabilir.
• Tarama ve dizine ekleme SSS bölümümüzde daha fazla bilgi bulabilirsiniz.
• Erişilebilirlik sorunları. Karşılaştığımız bir diğer ilgili sorun türü, Googlebot (ve kullanıcılar) siteye erişmeye çalıştığında web sitelerinin ulaşılamaz olmasıdır. Bu durum; DNS sorunlarını, zaman aşımlarına ve reddedilen bağlantılara yol açan aşırı yüklenmiş sunucuları, yanlış yapılandırılmış içerik dağıtım ağlarını (CDN) ve diğer birçok hata türünü içerir. Googlebot bu tür sorunlarla karşılaştığında, bunları Webmaster Araçları’nda
  URL ulaşılamaz hataları
  veya
  tarama hataları
  olarak raporlarız.
• Geçersiz SSL sertifikaları. SSL sertifikalarının web siteniz için geçerli olması için sitenin adıyla eşleşmeleri gerekir. Yaygın sorunlar arasında süresi dolmuş SSL sertifikaları ve sunucudaki tüm web sitelerinin aynı sertifikayı kullanacağı şekilde yanlış yapılandırılmış sunucular yer alır. Çoğu web tarayıcısı bu durumlarda kullanıcıları uyarmaya çalışır ve Google, Webmaster Araçları aracılığıyla bir mesaj göndererek web yöneticilerini bu sorun hakkında uyarmaya çalışır. Bu sorunların çözümü, kullanıcılarınızın etkileşimde bulunacağı tüm web sitenizin alan adları ve alt alan adları için geçerli olan SSL sertifikalarını kullandığınızdan emin olmaktır.

• Joker karakterli (Wildcard) DNS. Web siteleri, tüm alt alan adı isteklerine yanıt verecek şekilde yapılandırılabilir. Örneğin, example.com adresindeki web sitesi; foo.example.com, uydurma-isim.example.com ve diğer tüm alt alan adlarına gelen isteklere yanıt verecek şekilde yapılandırılabilir.

  Bazı durumlarda bu istenen bir durumdur; örneğin, kullanıcı tarafından oluşturulan içeriklerin bulunduğu bir web sitesi, her hesaba kendi alt alan adını vermeyi seçebilir. Ancak bazı durumlarda, web yöneticisi bu davranışın içeriğin farklı ana bilgisayar adlarında gereksiz yere çoğaltılmasına neden olabileceği ve Googlebot’un taramasını da etkileyebileceği için bu davranışı istemeyebilir.

  Joker karakterli DNS kurulumlarındaki sorunları en aza indirmek için web sitenizi bunları kullanmayacak şekilde yapılandırın veya sunucunuzu, bağlantıyı reddederek ya da bir HTTP 404 başlığı döndürerek mevcut olmayan ana bilgisayar adlarına başarıyla yanıt vermeyecek şekilde yapılandırın.

• Yanlış yapılandırılmış sanal barındırma. Bu sorunun belirtisi, aynı sunucuda barındırılan birden fazla ana bilgisayarın ve/veya alan adının her zaman yalnızca bir sitenin içeriğini döndürmesidir. Başka bir deyişle, sunucu birden fazla site barındırmasına rağmen, ne istendiğine bakılmaksızın yalnızca bir siteyi döndürür. Sorunu teşhis etmek için sunucunun Host HTTP başlığına doğru şekilde yanıt verip vermediğini kontrol etmeniz gerekir.
• Barındırmaya özel URL’ler aracılığıyla içerik çoğaltılması. Birçok barındırma sağlayıcısı, test/geliştirme amacıyla web siteniz için URL’ler sunar. Örneğin, https://a.com/ web sitesini example.com barındırma sağlayıcısında barındırıyorsanız, sağlayıcı sitenize https://a.example.com/ veya https://example.com/~a/ gibi bir URL üzerinden erişim sunabilir. Önerimiz, barındırmaya özel bu URL’lerin herkese açık olmamasıdır (şifre koruması ile); bu URL’ler erişilebilir olsa bile algoritmalarımız genellikle web yöneticilerinin amaçladığı URL’yi seçer. Algoritmalarımız
  barındırmaya özel URL’leri seçerse,
  kanonikleştirme tekniklerini
  doğru şekilde uygulayarak algoritmalarımızın tercih ettiğiniz URL’leri seçmesini sağlayabilirsiniz.

• Yumuşak hata sayfaları. Bazı barındırma sağlayıcıları, bir HTTP hata durum kodu yerine HTTP 200 (“Başarılı” anlamına gelir) durum kodunu kullanarak hata sayfaları gösterir. Örneğin, bir “Sayfa bulunamadı” hata sayfası 404 yerine HTTP 200 döndürebilir ve bu da onu bir
  yumuşak 404 sayfası
  haline getirir; veya “Web sitesi geçici olarak kullanılamıyor” mesajı, doğru bir 503 HTTP durum kodu döndürmek yerine 200 döndürebilir. Yumuşak hata sayfalarını tespit etmek için çok çaba sarf ediyoruz, ancak algoritmalarımız bir web barındırıcısının yumuşak hata sayfalarını tespit edemediğinde, bu sayfalar hata içeriğiyle birlikte dizine eklenebilir. Bu durum sıralama veya
  alan adları arası URL seçimi
  sorunlarına yol açabilir.

  Döndürülen durum kodunu kontrol etmek kolaydır: Sunucunun döndürdüğü HTTP başlıklarını,
  Googlebot gibi getir
  gibi birçok araçtan herhangi birini kullanarak kontrol etmeniz yeterlidir. Bir hata sayfası HTTP 200 döndürüyorsa, yapılandırmayı doğru HTTP hata durum kodunu döndürecek şekilde değiştirin. Ayrıca, Webmaster Araçları’ndaki Tanılama bölümünün Tarama hataları sayfasındaki yumuşak 404 raporlarına da dikkat edin.

• İçerik değişikliği ve çerçeveler (frames). Web yöneticileri, sayfa içeriklerinin barındırma sağlayıcıları tarafından, genellikle sayfaya komut dosyaları veya görseller enjekte edilerek değiştirildiğini görmekten şaşırabilirler. Web barındırıcıları ayrıca içeriğinizi frame veya iframe HTML öğelerini kullanarak diğer sayfalara yerleştirerek de sunabilir. Bir web barındırıcısının içeriğinizi beklenmedik şekillerde değiştirip değiştirmediğini kontrol etmek için, barındırıcı tarafından sunulan sayfanın kaynak kodunu kontrol edin ve yüklediğiniz kodla karşılaştırın.

  Bazı sunucu tarafı kod değişikliklerinin çok yararlı olabileceğini unutmayın. Örneğin, Google’ın
  mod_pagespeed Apache modülünü
  veya diğer araçları kullanan bir sunucu, kodunuzu sayfa hızı optimizasyonu için küçültülmüş (minified) olarak döndürüyor olabilir.

• Spam ve kötü amaçlı yazılım. Bazı web barındırıcılarının ve toplu alt alan adı hizmetlerinin kötü amaçlı yazılım ve spam için ana kaynaklar haline geldiğini gördük. Kullanıcılarımızı ve arama kalitesini korurken eylemlerimizde ayrıntılı olmaya çalışıyoruz, ancak belirli bir web barındırıcısındaki sitelerin çok büyük bir kısmının spam içerikli olduğunu veya kötü amaçlı yazılım dağıttığını görürsek, web barındırıcısının tamamına karşı işlem yapmak zorunda kalabiliriz. Kötü amaçlı yazılımları takip etmenize yardımcı olmak için şunları sunuyoruz:
• Barındırma sağlayıcıları için yararlı olan
  Ağ Yöneticileri için Güvenli Tarama Uyarıları
• Bireysel web siteleri için Webmaster Araçları’ndaki
  Kötü amaçlı yazılım bildirimleri
• Geliştiriciler için bir
  Güvenli Tarama API’si

Bu listenin hem barındırma sağlayıcılarının hem de web yöneticilerinin bu sorunları teşhis etmesine ve çözmesine yardımcı olacağını umuyoruz. Bu listenin ötesinde, hizmet kalitesi ve desteğin yardımseverliği gibi barındırmanın nitel yönlerini de düşünün. Her zaman olduğu gibi, sorularınız varsa veya daha fazla yardıma ihtiyacınız olursa, lütfen
Web Yöneticisi Yardım Forumumuzda
sorun.

Yazan:
Pierre Far,
Web Yöneticisi Trendleri Analisti