Date with Googlebot, Part II: HTTP status codes and If-Modified-Since

Donnerstag, 27. November 2008

Unser
Date mit dem Googlebot
war wunderschön, aber es ist schwer zu sagen, ob wir, die Websites, das Richtige gesagt haben. Wir haben eine
301 permanente Weiterleitung zurückgegeben, aber hätten wir mit einer 302 temporären Weiterleitung
antworten sollen (damit er weiß, dass wir uns zieren)? Wenn wir ein paar neue 404 Fehler
senden, wird der Googlebot unsere Website jemals wieder besuchen? Sollten wir den Header
If-Modified-Sinceunterstützen? Diese Fragen können verwirrend sein, genau wie junge Liebe. Also
lassen wir uns ohne Umschweife an den Experten, den Googlebot, wenden und herausfinden, wie er unsere Antwort
(den Code) bewertet hat.

Liebster Googlebot,
Kürzlich habe ich auf meiner Website einen Frühjahrsputz gemacht und ein paar alte, verwaiste Seiten gelöscht.
Diese geben jetzt den 404 Code „Seite nicht gefunden“ zurück. Ist das in Ordnung, oder habe ich dich verwirrt?

Frankie O’Fore

Lieber Frankie,

404 Fehler sind der Standardweg, um mir mitzuteilen, dass eine Seite nicht mehr existiert.
Ich werde nicht verärgert sein – es ist normal, dass alte Seiten von Websites bereinigt oder auf frischere Inhalte aktualisiert werden.
Die meisten Websites zeigen eine Handvoll von 404 Fehlern in der Crawl-Diagnose in den Webmaster-Tools. Das ist wirklich keine große Sache. Solange Sie eine gute Site-Architektur mit Links zu allen Ihren indexierbaren Inhalten haben, bin ich glücklich, weil das bedeutet, dass ich alles finde, was ich brauche.

Aber vergessen Sie nicht, dass nicht nur ich auf Ihre Website kommt – möglicherweise sehen
auch Menschen diese Seiten. Wenn Sie nur eine sehr einfache Nachricht „404 Seite nicht gefunden“ haben,
könnten Besucher, die nicht so versiert sind, verwirrt sein. Es gibt viele Möglichkeiten, Ihre 404 Seite benutzerfreundlicher zu gestalten;
ein schneller Weg ist unser 404 Widget in den Webmaster-Tools, das
dabei hilft, Menschen zu Inhalten zu leiten, die tatsächlich existieren. Weitere Informationen finden Sie im Blogbeitrag. Die meisten
Webhosting-Unternehmen, ob groß oder klein, lassen Sie Ihre 404 Seite (und
auch andere Rückgabecodes) anpassen.

Mit Kuss und Gruß,
Googlebot

Hey Googlebot,
Ich habe gerade deine Antwort an Frankie oben gelesen, und dabei sind ein paar Fragen aufgetaucht.
Was ist, wenn jemand auf eine Seite verlinkt, die nicht mehr existiert? Wie kann ich sicherstellen, dass meine Besucher
trotzdem finden, wonach sie suchen? Und was ist, wenn ich einfach einige Seiten verschiebe? Ich möchte meine Site besser
organisieren, aber ich habe Angst, dass du verwirrt wirst. Wie kann ich dir helfen?

In hoffnungsvoller Erwartung,
Little Jimmy

Hallo Jimmy,

Tun wir so, als gäbe es keine Anachronismen in Ihrem Brief, und kommen wir zum Kern der Sache. Erstens wollen wir uns Links von anderen Websites ansehen. Diese können natürlich eine großartige Traffic-Quelle sein, und Sie möchten nicht, dass Besuchern eine unfreundliche Nachricht „Seite nicht gefunden“ angezeigt wird. Sie können also die Macht der mächtigen Weiterleitung nutzen.

Es gibt zwei Arten von Weiterleitungen –301 und 302. Eigentlich gibt es
noch viele mehr, aber das sind die beiden, mit denen wir uns jetzt beschäftigen werden. Genau wie 404,
301 und 302 sind dies verschiedene Arten von Antwortcodes, die Sie an Benutzer
und Suchmaschinen-Crawler senden können. Beide sind Weiterleitungen, aber eine 301 ist permanent und eine
302 ist temporär. Eine 301 Weiterleitung sagt mir, dass diese Seite, was auch immer sie früher war, jetzt woanders lebt. Das ist perfekt, wenn Sie Ihre Website neu organisieren, und hilft auch bei externen Links. Immer wenn ich eine 301sehe, aktualisiere ich alle Verweise
auf diese alte Seite mit der neuen, die Sie mir genannt haben. Ist das nicht einfach?

Wenn Sie nicht wissen, wo Sie mit Weiterleitungen beginnen sollen, lassen Sie mich Ihnen den Einstieg erleichtern. Das hängt von Ihrem Webserver ab, aber hier sind einige Suchen, die hilfreich sein könnten:

• Apache:
  301 redirect apache
• IIS:
  301 redirect iis

Sie können auch in Ihrem Handbuch oder in den README-Dateien nachsehen, die mit Ihrem Server geliefert wurden.

Als Alternative zu einer Weiterleitung können Sie dem Webmaster der auf Sie verlinkenden Website eine E-Mail senden und ihn bitten, seinen Link zu aktualisieren. Sie sind sich nicht sicher, welche Websites auf Sie verlinken? Verzweifeln Sie nicht – meine menschlichen Kollegen haben das leicht gemacht. Im Bereich „Links“ der Webmaster-Tools können Sie eine bestimmte URL auf Ihrer Site eingeben, um festzustellen, wer darauf verlinkt.

Meine menschlichen Kollegen haben auch
gerade ein Tool veröffentlicht,
das URLs anzeigt, die auf nicht existierende Seiten auf Ihrer Website verlinken.

Mit informativen Grüßen,
Googlebot

Liebster Googlebot,
Ich habe ein Problem – ich lebe in einem sehr dynamischen Teil des Webs und ändere ständig meine Meinung über
Dinge. Wenn du mir Fragen stellst, antworte ich nie zweimal auf dieselbe Weise – meine Top-Threads ändern
sich stündlich, und ich bekomme ständig neue Inhalte! Du wirkst wie ein unkomplizierter Typ, der
unkomplizierte Antworten will. Wie kann ich dir sagen, wenn sich Dinge ändern, ohne dich zu verwirren?

Temp O’Rary

Lieber Temp,

Ich habe dem kleinen Jimmy gerade gesagt, dass 301 Weiterleitungen der beste Weg sind, um einen Googlebot
über Ihre neue Adresse zu informieren, aber wonach Sie suchen, ist eine 302.

Sobald Sie indexiert sind, ist dies die höfliche Art, Ihren Besuchern mitzuteilen, dass Ihre Adresse nach wie vor die richtige ist, die Inhalte aber vorübergehend woanders zu finden sind. In diesen Situationen wäre eine
302 (oder die seltenere 307 temporäre Weiterleitung) besser. Zum Beispiel
leitet orkut von https://orkut.com zu
https://google.com/accounts/login?service=orkutum, was keine Seite ist, die Menschen
bei der Suche nach Orkut besonders nützlich finden würden.

Sie ist zu Beginn auf einer anderen Domain. Daher wurde eine 302 verwendet, um mir mitzuteilen, dass nicht alle Inhalte und Verknüpfungseigenschaften der URL auf das Ziel aktualisiert werden sollen – es handelt sich nur um
eine temporäre Seite.

Aus diesem Grund sehen Sie bei der Suche nach orkut orkut.com und nicht diese längere URL.

Denken Sie daran: Einfache Kommunikation ist der Schlüssel zu jeder Beziehung.

Dein Freund,
Googlebot

Captain Googlebot,
Ich bin die Art von Website, die sich gerne neu erfindet. Mir ist aufgefallen, dass die Links zu mir auf den Websites meiner Freunde alle auf URLs verweisen, die ich vor mehreren Redesigns losgeworden bin! Ich hatte 301
Weiterleitungen zu meinen neuen URLs für diese Seiten eingerichtet, aber danach habe ich die neueren
URLs an meine nächste Version 301 weitergeleitet. Jetzt habe ich Angst, dass Sie, wenn Sie ihren Anweisungen beim Crawlen folgen, am Ende einer Kette von 301 Weiterleitungen folgen, die so lang ist, dass Sie am Ende nicht mehr zu Besuch kommen werden.

Ethel Binky

Liebe Ethel,
Es klingt, als hätten Sie einige URLs eingerichtet, die zu weiteren Weiterleitungen zu… nun ja, meine Güte! In
-Dosen sind diese „wiederholten Weiterleitungen“ verständlich, aber es lohnt sich vielleicht zu überlegen, warum
Sie sie überhaupt verwenden. Wenn Sie die 301 Weiterleitungen in der Mitte
entfernen und mich bei allen direkt zum Endziel leiten, sparen Sie uns beiden eine Menge
Zeit und HTTP-Anfragen. Aber denken Sie nicht nur an uns. Andere Leute werden es leid, immer wieder
dasselbe alte Spiel „Verbindung wird hergestellt…. Laden … Verbindung wird hergestellt…“ in ihrer Statusleiste zu sehen.
Versetzen Sie sich in ihre Lage – wenn Ihre Weiterleitungskette recht lang zu werden beginnt, befürchten
Benutzer möglicherweise, dass Sie sie in eine Endlosschleife geschickt haben! Bots und Menschen gleichermaßen
können von dieser Art von „ewiger Bindung“ abgeschreckt werden. Versuchen Sie stattdessen, diese verketteten
Weiterleitungen loszuwerden, oder halten Sie sie zumindest kurz. Denken Sie an die Menschen!]

es5v

Mit freundlichen Grüßen,
Googlebot

Lieber Googlebot,
Ich weiß, du musst mich mögen – du fragst mich sogar nach unveränderten Dateien, wie meiner Abschlussarbeit, die sich seit 10 Jahren nicht verändert hat. Langsam wird das echt lästig! Gibt es irgendetwas, das ich tun kann, um zu verhindern, dass du meine schöne Bandbreite beanspruchst?

Janet Crinklenose

Janet, Janet, Janet,
Es klingt, als möchtest du vielleicht einen neuen Satz lernen – 304 (Not Modified). Wenn ich eine URL schon einmal gesehen habe, füge ich einen If-Modified-Since in den Header meiner Anfrage ein. Diese Zeile enthält auch einen HTTP-formierten Datumsstring. Wenn du nicht noch eine weitere Kopie dieser Datei senden möchtest, steh für dich selbst ein und schicke einen normalen HTTP-Header mit dem Status zurück:
304 (Not Modified)! Ich mag Informationen, und das hier zählt auch dazu. Wenn du das tust, musst du mir keine Kopie der Datei schicken – das bedeutet, du verschwendest nicht deine Bandbreite, und ich habe nicht das Gefühl, dass du mir denselben alten Kram andrehst.

Du wirst wahrscheinlich bemerken, dass viele Browser und Proxies ebenfalls If-Modified-Since
in ihren Headern verwenden. Damit bist du auf dem besten Weg, diese lästige Bandbreitenrechnung zu zügeln.

Jetzt geh raus und spar etwas Bandbreite!
Der gute alte Googlebot

Googlebot war so hilfreich! Jetzt wissen wir, wie wir am besten auf Nutzer und Suchmaschinen reagieren können. Das nächste Mal, wenn wir zusammenkommen, ist es jedoch Zeit für ein langes, gründliches Gespräch unter vier Augen mit dem Robot (Date mit Googlebot: Teil III erscheint bald!).

Aufgezeichnet von Chewy [Trewhella], Developer Advocate