Bessere Details darüber, wann der Googlebot eine Seite zuletzt besucht hat

Dienstag, 5. September 2006

Die meisten Menschen wissen, dass der Googlebot Seiten von Webservern herunterlädt, um das Web zu crawlen. Nicht ganz so vielen
304 (Nicht modifiziert)
ist bekannt, dass, wenn der Googlebot auf eine Seite zugreift und eine If-Modified-Since qualifizierte Anfrage erhält, der Googlebot den Inhalt dieser Seite nicht herunterlädt. Dies reduziert den Bandbreitenverbrauch auf Ihrem Webserver.

Wenn Sie sich den Google-Cache einer Seite ansehen (indem Sie beispielsweise den
cache: Operator
verwenden oder auf den Link „Im Cache“ unter einer URL in den Suchergebnissen klicken), sehen Sie das Datum, an dem der Googlebot diese Seite abgerufen hat. Bisher war das Datum, das wir für den Cache der Seite angegeben haben, das Datum, an dem wir den Inhalt der Seite das letzte Mal erfolgreich abgerufen haben. Das bedeutete, dass, selbst wenn wir eine Seite vor Kurzem besucht hatten, das Cache-Datum etwas älter sein konnte, wenn sich die Seite seit dem letzten Besuch nicht geändert hatte. Dies machte es für Webmaster schwierig, das von uns angezeigte Cache-Datum zu verwenden, um den letzten Besuch des Googlebots zu bestimmen. Betrachten Sie das folgende Beispiel:

1. Der Googlebot crawlt eine Seite am 12. April 2006.
2. Unsere gecachte Version dieser Seite weist darauf hin: „Dies ist der Google-Cache von
   https://www.example.com/ abgerufen am 12. April 2006 20:02:06 GMT.“
3. Regelmäßig überprüft der Googlebot, ob sich diese Seite geändert hat, und erhält jedes Mal eine
   Nicht modifiziert Antwort. Am 27. August 2006 überprüft der Googlebot beispielsweise die Seite, Nicht modifiziert erhält eine
4. Antwort und lädt daher den Inhalt der Seite nicht herunter.

Am 28. August 2006 zeigt unsere gecachte Version der Seite immer noch das Datum vom 12. April 2006 an – das Datum, an dem wir den Inhalt der Seite zuletzt heruntergeladen haben, obwohl der Googlebot die Seite erst am Tag zuvor besucht hatte.
Wir haben kürzlich das Datum geändert, das wir für die gecachte Seite anzeigen, um zu widerspiegeln, wann der Googlebot zuletzt darauf zugegriffen hat (unabhängig davon, ob sich die Seite geändert hat oder nicht). Dies sollte es Ihnen erleichtern, das Datum des letzten Besuchs des Googlebots zu ermitteln. Im obigen Beispiel würde die gecachte Version der Seite nun beispielsweise lauten: „Dies ist der Google-Cache von https://www.example.com/

abgerufen am 27. August 2006 13:13:37 GMT.“