Erstes Date mit dem Googlebot: Header und Komprimierung

Donnerstag, 6. März 2008

Name/User-Agent: Googlebot
IP-Adresse:
Erfahren Sie, wie Sie den Googlebot verifizieren
Auf der Suche nach: Websites mit einzigartigen und überzeugenden Inhalten
Hauptabturner: Verstöße gegen die
Webmaster-Richtlinien
Googlebot — was für ein Traumtyp. Es ist,
als würden sie uns kennen <head>, <body>, und Seele. Sie suchen wahrscheinlich
nach nichts Exklusivem; sie sehen Milliarden anderer Websites (obwohl wir unsere Daten
auch mit anderen Bots teilen), aber heute Abend werden wir uns als Website und Crawler wirklich kennenlernen.

Ich weiß, es ist nie gut, ein erstes Date zu überanalysieren. Wir werden den Googlebot etwas
langsamer in einer Reihe von Beiträgen kennenlernen:

1. Unser erstes Date (heute Abend!): Vom Googlebot gesendete Header, Dateiformate, die er „bemerkt“, ob es
   besser ist, Daten zu komprimieren
2. Beurteilung ihrer Reaktion: Antwortcodes (301, 302), wie sie mit
   Weiterleitungen umgehen und If-Modified-Since
3. Nächste Schritte: Links folgen, dafür sorgen, dass sie schneller oder langsamer crawlen (damit sie nicht zu
   stürmisch vorgehen)

Und heute Abend ist erst das erste Date…

Googlebot: ACK

Website: Googlebot, du bist da!

Googlebot: Das bin ich.

Website: Diese Header sind so auffällig! Würdest du mit denselben Headern crawlen, wenn sich meine Site
in den USA, Asien oder Europa befände? Verwendest du jemals andere Header?

Googlebot: Meine Header sind weltweit typischerweise konsistent. Ich versuche herauszufinden, wie eine Seite
für die Standardsprache und -einstellungen der Site aussieht. Manchmal ist der
User-Agent anders, zum Beispiel verwenden AdSense-Abrufe
Mediapartners-Google:

Oder für die Bildersuche:

Drahtlose Abrufe haben oft trägerspezifische User-Agents, während Google Reader RSS-Abrufe
zusätzliche Informationen wie die Anzahl der Abonnenten enthalten.

Normalerweise vermeide ich Cookies (also keinen Cookie: -Header), da ich nicht möchte, dass der Inhalt
zu stark durch sitzungsspezifische Informationen beeinflusst wird. Und wenn ein Server eine Sitzungs-ID in einer dynamischen URL
anstelle eines Cookies verwendet, kann ich das normalerweise herausfinden, damit ich am Ende nicht
Ihre dieselbe Seite eine Million Mal mit einer Million verschiedener Sitzungs-IDs cravle.

Website: Ich bin sehr komplex. Ich habe viele Dateitypen. Ihre Header sagen
Accept: */*. Indexieren Sie alle URLs oder werden bestimmte Dateierweiterungen automatisch
gefiltert?

Googlebot: Das hängt davon ab, wonach ich suche. Wenn ich für die normale Websuche indiziere
und Links zu MP3s und Videos sehe, werde ich diese wahrscheinlich nicht herunterladen. Wenn ich ähnlich ein JPG sehe, werde
ich es anders behandeln als einen HTML- oder PDF-Link. Zum Beispiel ändert sich ein JPG viel seltener
als HTML, daher werde ich das JPG seltener auf Änderungen prüfen, um Bandbreite zu sparen.
Wenn ich dagegen nach Links als Google Scholar suche, interessiere ich mich
womöglich viel mehr für den PDF-Artikel als für die JPG-Datei. Das Herunterladen von Doodles (wie JPGs) und Videos von Skateboard-Hunden
lenkt einen Wissenschaftler ab – stimmen Sie zu?

Website: Ja, sie können ablenken. Ich bin beeindruckt von Ihrer Hingabe. Ich liebe Doodles (JPGs)
und finde sie schwer zu widerstehen.

Googlebot: Ich auch; ich bin nicht immer so wissenschaftlich. Wenn ich für die Bildersuche cravle, bin ich sehr
an JPGs interessiert. Und für Nachrichten suche ich hauptsächlich nach HTML und Bildern in der Nähe.

Es gibt auch viele Erweiterungen (exe, dll, zip, dmg…), die dazu neigen, groß zu sein und weniger nützlich
für eine Suchmaschine.

Website: Wenn du meine URL sehen würdest, https://www.example.com/page1.LOL111, würdest du sie
(jammer, jammer) nur deshalb ablehnen, weil sie eine unbekannte Dateierweiterung enthält?

Googlebot: Website, lassen Sie mich etwas mehr Hintergrundinformationen geben. Nachdem ich eine Datei tatsächlich heruntergeladen habe, verwende ich den Content-Type -Header, um zu prüfen, ob es sich wirklich um HTML, ein Bild, Text oder
etwas anderes handelt. Wenn es sich um einen speziellen Datentyp wie eine PDF-Datei, ein Word-Dokument oder eine Excel-Tabelle handelt, werde
ich sicherstellen, dass sie im gültigen Format vorliegt, und den Textinhalt extrahieren. Vielleicht hat sie einen Virus; man
weiß nie. Wenn das Dokument oder der Datentyp wirklich unleserlich ist, gibt es normalerweise nicht viel zu tun, außer
den Inhalt zu verwerfen.

Wenn ich also https://www.example.com/page1.LOL111 mit einer unbekannten Dateierweiterung
crawle, werde ich sie wahrscheinlich herunterladen. Wenn ich den Inhaltstyp
nicht aus dem Header ermitteln kann oder es sich um ein Format handelt, das wir nicht indexieren (zum Beispiel mp3), wird es beiseite gelegt.
Andernfalls fahren wir mit der Indizierung der Datei fort.

Website: Es tut mir leid, dass ich deinen Stil kritisiere, Googlebot, aber mir ist aufgefallen, dass deine
Accept-Encoding -Header sagen:

Kannst du mir diese Header erklären?

Googlebot: Klar. Alle großen Suchmaschinen und Webbrowser unterstützen die gzip-Komprimierung für
Inhalte, um Bandbreite zu sparen. Andere Einträge, die Sie hier sehen könnten, sind x-gzip (das
gleiche wie gzip), deflate (was wir ebenfalls unterstützen) und
identity (keine).

Website: Können Sie mehr über Dateikomprimierung und
Accept-Encoding: gzip,deflate? Viele meiner URLs bestehen aus großen Flash-Dateien und atemberaubenden Bildern, nicht nur aus HTML. Würde es Ihnen helfen, schneller zu crawlen, wenn ich meine größeren Dateien komprimiere?

Googlebot: Darauf gibt es keine einfache Antwort. Erstens sind viele Dateiformate wie swf (Flash), jpg, png, gif und pdf bereits komprimiert (es gibt auch spezielle Flash-Optimierer).

Website: Vielleicht habe ich meine Flash-Dateien komprimiert und wusste es nicht einmal? Ich bin offensichtlich sehr effizient.

Googlebot: Sowohl Apache als auch IIS bieten Optionen zur Aktivierung der Gzip- und Deflate-Kompression, allerdings ist dies mit CPU-Kosten für die eingesparte Bandbreite verbunden. Typischerweise wird sie nur für leicht komprimierbare Text-HTML/CSS/PHP-Inhalte aktiviert. Und sie wird nur verwendet, wenn der Browser des Benutzers oder ich (ein Suchmaschinen-Crawler) dies zulassen. Persönlich bevorzuge ich gzip gegenüber deflate. Gzip ist eine etwas robustere Codierung – es gibt durchgehend eine Prüfsumme und einen vollständigen Header, was mir weniger Rätselraten aufgibt als Deflate. Ansonsten sind es sehr ähnliche Komprimierungsalgorithmen.

Wenn Sie auf Ihren Servern etwas freie CPU haben, lohnt es sich möglicherweise, mit der Komprimierung zu experimentieren (Links:
Apache,
IIS). Wenn Sie jedoch dynamische Inhalte bereitstellen und Ihre Server bereits stark durch die CPU belastet sind, sollten Sie vielleicht noch warten.

Website: Großartige Informationen. Ich bin wirklich froh, dass Sie heute Abend gekommen sind — Gott sei Dank hat mein
robots.txt es erlaubt. Diese Datei kann wie ein überbesorgter Elternteil sein!

Googlebot: Ach ja; die Eltern treffen, die robots.txt. Ich habe schon viele intensive getroffen. Einige sind in Wirklichkeit nur HTML-Fehlerseiten statt gültiger robots.txt. Einige haben endlose Weiterleitungen überall hin, vielleicht zu völlig zusammenhanglosen Websites, während andere einfach riesig sind und Tausende von verschiedenen URLs einzeln aufgelistet haben. Hier ist ein unglückliches Muster. Die Website möchte normalerweise unbedingt, dass ich crawle:

Dann schaltet die Website während einer Spitzenzeit mit hohem Benutzerverkehr die robots.txt auf etwas Restriktives um:

Das Problem beim oben genannten robots.txt-Dateitausch ist, dass ich, sobald ich die restriktive robots.txt sehe, möglicherweise anfangen muss, Inhalte, die ich bereits gecrawlt habe, aus dem Index zu werfen. Und dann muss ich viele Inhalte neu crawlen, sobald ich die Website wieder crawlen darf. Zumindest ein 503-Antwortcode wäre temporär gewesen.

Ich überprüfe robots.txt normalerweise nur einmal am Tag (andernfalls würde ich auf vielen Virtual-Hosting-Sites einen großen Teil meiner Abrufe nur für das Abrufen von robots.txt aufwenden, und kein Date möchte so oft „die Eltern treffen“). Für Webmaster geht der Versuch, die Crawl-Rate durch robots.txt-Tausch zu steuern, normalerweise nach hinten los. Es ist besser,
die Rate auf „langsamer“ zu stellen
in Webmaster Tools.

Googlebot: Website, danke für all deine Fragen, du warst wunderbar, aber ich muss sagen: „FIN, meine Liebe.“

Website: Oh, Googlebot… ACK/FIN.
🙂

Geschrieben von Maile Ohye als Website, Jeremy Lilley als Googlebot