Tipps für Hosting-Anbieter und Webmaster

Dienstag, 06. Dezember 2011

Einige Webmaster in unseren Foren stellen Fragen zu Hosting-bezogenen Problemen, die ihre Websites betreffen. Um sowohl Hosting-Anbietern als auch Webstern zu helfen, solche Probleme zu erkennen, zu diagnostizieren und zu beheben, möchten wir einige der häufigsten Probleme, die wir beobachtet haben, mit Ihnen teilen und Vorschläge zu deren Behebung machen.

• Blockieren des Googlebot-Crawlings. Dies ist ein sehr häufiges Problem, das normalerweise auf eine Fehlkonfiguration in einer Firewall oder einem DoS-Schutzesystem zurückzuführen ist und manchmal mit dem Content-Management-System zusammenhängt, auf dem die Website läuft. Schutzsysteme sind ein wichtiger Bestandteil eines guten Hostings und oft so konfiguriert, dass sie ungewöhnlich hohe Mengen an Serveranfragen blockieren, manchmal automatisch.
  Da Googlebot jedoch häufig mehr Anfragen als ein menschlicher Nutzer ausführt, entscheiden sich diese Schutzsysteme möglicherweise dafür, Googlebot zu blockieren und ihn daran zu hindern, Ihre Website zu crawlen. Um diese Art von Problem zu überprüfen, verwenden Sie die
  Als Googlebot abrufen-Funktion
  in den Webmaster-Tools und überprüfen Sie andere
  Crawl-Fehler
  , die in den Webmaster-Tools angezeigt werden.

  Wir bieten mehrere Tools für Webmaster und Hosting-Anbieter an, die mehr Kontrolle über das Crawling von Googlebot wünschen und die Crawling-Effizienz verbessern möchten:

• Wir haben detaillierte Hilfe dazu, wie Sie das Crawling von Googlebot über das
  Robots-Ausschluss-Protokoll und
  Konfigurieren von URL-Parametern.
• kontrollieren. Wenn Sie sich Sorgen machen, dass zwielichtige Bots den Googlebot-User-Agent verwenden, bieten wir eine Möglichkeit,
  zu überprüfen, ob es sich bei einem Crawler tatsächlich um Googlebot handelt.
• . Wenn Sie ändern möchten, wie intensiv Googlebot Ihre Website crawlt, können Sie Ihre Website in den Webmaster-Tools verifizieren und
  die Crawl-Rate von Googlebot ändern.
  Hosting-Anbieter können auch die Inhaberschaft ihrer IP-Adressen verifizieren.
• Weitere Informationen finden Sie in unseren
  FAQ zum Crawling und Indexieren.
• Verfügbarkeitsprobleme. Ein ähnliches Problem, das wir beobachten, sind Websites, die nicht verfügbar sind, wenn Googlebot (und Nutzer) versuchen, auf die Website zuzugreifen. Dies umfasst DNS-Probleme, überlastete Server, die zu Zeitüberschreitungen und verweigerten Verbindungen führen, falsch konfiguriertes Content Delivery Networks (CDNs) und viele andere Arten von Fehlern. Wenn Googlebot auf solche Probleme stößt, melden wir sie in den Webmaster-Tools entweder als
  URL nicht erreichbar-Fehler
  oder
  Crawl-Fehler.
• Ungültige SSL-Zertifikate. Damit SSL-Zertifikate für Ihre Website gültig sind, müssen sie zum Namen der Website passen. Häufige Probleme sind abgelaufene SSL-Zertifikate und Server, die so falsch konfiguriert sind, dass alle Websites auf diesem Server dasselbe Zertifikat verwenden. Die meisten Webbrowser versuchen, Benutzer in diesen Situationen zu warnen, und Google versucht, Webmaster auf dieses Problem aufmerksam zu machen, indem eine Nachricht über die Webmaster-Tools gesendet wird. Die Behebung dieser Probleme besteht darin, sicherzustellen, dass Sie SSL-Zertifikate verwenden, die für alle Domains und Subdomains Ihrer Website gültig sind, mit denen Ihre Benutzer interagieren.

• Wildcard-DNS. Websites können so konfiguriert werden, dass sie auf alle Subdomain-Anfragen reagieren. Beispielsweise kann die Website unter example.com so konfiguriert werden, dass sie auf Anfragen an foo.example.com, made-up-name.example.com und alle anderen Subdomains reagiert.

  

  In einigen Fällen ist dies erwünscht; beispielsweise kann sich eine Website mit nutzergenerierten Inhalten dafür entscheiden, jedem Konto eine eigene Subdomain zu geben. In einigen Fällen wünscht der Webmaster dieses Verhalten jedoch möglicherweise nicht, da dies dazu führen kann, dass Inhalte unnötig über verschiedene Hostnamen hinweg dupliziert werden, und es kann sich auch auf das Crawling von Googlebot auswirken.

  Um Probleme bei Wildcard-DNS-Setups zu minimieren, konfigurieren Sie Ihre Website entweder so, dass sie diese nicht verwendet, oder konfigurieren Sie Ihren Server so, dass er nicht erfolgreich auf nicht vorhandene Hostnamen reagiert, indem Sie entweder die Verbindung verweigern oder einen HTTP- 404 Header zurückgeben.

• Falsch konfiguriertes virtuelles Hosting. Das Symptom dieses Problems ist, dass mehrere Hosts und/oder Domainnamen, die auf demselben Server gehostet werden, immer nur den Inhalt einer einzigen Website zurückgeben. Um es anders auszudrücken: Obwohl der Server mehrere Websites hostet, gibt er unabhängig von der Anfrage nur eine Website zurück. Um das Problem zu diagnostizieren, müssen Sie überprüfen, ob der Server korrekt auf den Host HTTP-Header reagiert.
• Inhaltsduplizierung durch Hosting-spezifische URLs. Viele Hosts bieten praktischerweise URLs für Ihre Website zu Test-/Entwicklungszwecken an. Wenn Sie beispielsweise die Website https://a.com/ beim Hosting-Anbieter example.com hosten, bietet der Host möglicherweise Zugriff auf Ihre Website über eine URL wie https://a.example.com/ oder https://example.com/~a/. Unsere Empfehlung ist, diese Hosting-spezifischen URLs nicht öffentlich zugänglich zu machen (durch Passwortschutz); und selbst wenn diese URLs zugänglich sind, wählen unsere Algorithmen normalerweise die URL aus, die Webmaster beabsichtigen. Wenn unsere Algorithmen
  die Hosting-spezifischen URLs auswählen, können Sie unsere Algorithmen dazu bringen, Ihre bevorzugten URLs auszuwählen, indem Sie
  Kanonisierungstechniken
  korrekt implementieren.

• Soft-Error-Seiten. Einige Hosting-Anbieter zeigen Fehlerseiten mit einem HTTP-
  200 Statuscode (was “Erfolg” bedeutet) anstelle eines HTTP-Fehlerstatuscodes an. Beispielsweise könnte eine “Seite nicht gefunden”-Fehlerseite einen HTTP- 200 anstelle von
  404zurückgeben, was sie zu einer
  Soft-404- Seite macht; oder eine Meldung “Website vorübergehend nicht verfügbar” könnte einen 200 anstelle von einem korrekten 503 HTTP-Statuscode zurückgeben. Wir bemühen uns sehr, Soft-Error-Seiten zu erkennen, aber wenn unsere Algorithmen die Soft-Error-Seiten eines Webhosts nicht erkennen, werden diese Seiten möglicherweise mit dem Fehlerinhalt indexiert. Dies kann zu Problemen beim Ranking oder bei der
  domainübergreifenden URL-Auswahl
  führen.

  Es ist einfach, den zurückgegebenen Statuscode zu überprüfen: Überprüfen Sie einfach die vom Server zurückgegebenen HTTP-Header mit einem beliebigen Tool wie
  Als Googlebot abrufen. Wenn eine Fehlerseite einen HTTP- 200zurückgibt, ändern Sie die Konfiguration, um den korrekten HTTP-Fehlerstatuscode zurückzugeben. Achten Sie außerdem auf Soft-404- Berichte in den Webmaster-Tools auf der Seite “Crawl-Fehler” im Bereich “Diagnose”.

• Inhaltsänderung und Frames. Webmaster sind möglicherweise überrascht zu sehen, dass ihre Seiteninhalte von Hosting-Anbietern geändert werden, typischerweise durch das Injizieren von Skripten oder Bildern in die Seite. Webhosts können Ihre Inhalte auch bereitstellen, indem sie sie in andere Seiten einbetten, und zwar über
  frame oder iframe HTML-Elemente. Um zu überprüfen, ob ein Webhost Ihre Inhalte unerwartet ändert, überprüfen Sie einfach den Quellcode der vom Host bereitgestellten Seite und vergleichen Sie ihn mit dem von Ihnen hochgeladenen Code.

  Beachten Sie, dass einige serverseitige Codeänderungen sehr nützlich sein können. Beispielsweise kann ein Server, der das
  mod_pagespeed Apache-Modul
  von Google oder andere Tools verwendet, Ihren Code zur Optimierung der Seitengeschwindigkeit minifiziert zurückgeben.

• Spam und Malware. Wir haben gesehen, dass einige Webhosts und Massen-Subdomain-Dienste zu Hauptquellen für Malware und Spam geworden sind. Wir bemühen uns um Granularität bei unseren Maßnahmen zum Schutz unserer Nutzer und der Suchqualität, aber wenn wir feststellen, dass ein sehr großer Teil der Websites auf einem bestimmten Webhost Spam verbreitet oder Malware verteilt, sind wir möglicherweise gezwungen, Maßnahmen gegen den Webhost als Ganzes zu ergreifen. Um Ihnen zu helfen, den Überblick über Malware zu behalten, bieten wir an:
• Sicherheitswarnungen für Netzwerkadministratoren, nützlich für Hosting-Anbieter
• Malware-Benachrichtigungen
  in den Webmaster-Tools für einzelne Websites
• A Safe Browsing API für Entwickler

Wir hoffen, dass diese Liste sowohl Hosting-Anbietern als auch Webmastern hilft, diese Probleme zu diagnostizieren und zu beheben. Denken Sie über diese Liste hinaus auch an die qualitativen Aspekte des Hostings wie Servicequalität und Hilfsbereitschaft des Supports. Wie immer, wenn Sie Fragen haben oder weitere Hilfe benötigen, fragen Sie bitte in unserem
Webmaster-Hilfeforum.

Verfasst von
Pierre Far, Webmaster Trends Analyst