GET, POST und die sichere Erfassung von mehr Web-Inhalten

Dienstag, 1. November 2011

Da sich das Web weiterentwickelt, müssen auch die Crawling– und Indexierungsfunktionen von Google Schritt halten. Wir
haben unsere Flash-Indexierung verbesserteine robustere
Infrastruktur namens Caffeine aufgebautund sogar damit begonnen,
Formulare zu crawlen , wo dies sinnvoll ist. Nun, insbesondere durch die wachsende Popularität von JavaScript und AJAX, stellen wir fest, dass immer mehr Webseiten POST -Anfragen erfordern – entweder für den gesamten Seiteninhalt oder weil Seiten ohne die von POSTzurückgegebenen Ressourcen fehlen und/oder völlig defekt aussehen. Für die Google Suche ist dies alles andere als ideal, denn wenn wir Inhalte nicht ordnungsgemäß entdecken und indexieren, haben Suchende möglicherweise keinen Zugriff auf die umfassendsten und relevantesten Ergebnisse.

Wir raten im Allgemeinen dazu,
GET
zum Abrufen der von einer Seite benötigten Ressourcen zu verwenden, und dies ist bei Weitem unsere bevorzugte Crawling-Methode. Wir haben Experimente gestartet, um POST -Anfragen in GET-Anfragen umzuschreiben. Zwar bleibt dies in einigen Fällen eine valide Strategie, oft sind jedoch die von einem Webserver für
GET vs. POST zurückgegebenen Inhalte völlig unterschiedlich. Darüber hinaus gibt es berechtigte Gründe für die Verwendung von POST (beispielsweise können Sie an eine POST -Anfrage mehr Daten anhängen als an eine GET-Anfrage). Selbst wenn GET -Anfragen also nach wie vor weitaus häufiger sind, kann der Googlebot jetzt
POST -Anfragen ausführen, um mehr Inhalte im Web zu erfassen, sofern wir dies für sicher und angemessen halten.

Wir ergreifen Vorkehrungen, um auf einer Website keine Aufgaben auszuführen, die zur Ausführung einer unbeabsichtigten Nutzeraktion führen könnten. Unsere POST -Anfragen dienen primär dazu, Ressourcen zu crawlen, die von einer Seite automatisch angefordert werden, was dem entspricht, was ein typischer Nutzer sieht, wenn er die URL in seinem Browser öffnet. Dies wird sich im Laufe der Zeit weiterentwickeln, wenn wir bessere Heuristiken finden, aber das ist unser aktueller Ansatz.

Gehen wir einige POST -Anfrageszenarien durch, die veranschaulichen, wie wir unser Crawling und unsere Indexierung verbessern, um mit dem Web Schritt zu halten.

Beispiele für POST -Anfragen des Googlebots

• Crawlen einer Seite über eine POST-Weiterleitung
• Crawlen einer Ressource über eine POST -XMLHttpRequest: In diesem Schritt-für-Schritt-Beispiel verbessern wir sowohl die Indexierung einer Seite als auch ihre Instant Preview, indem wir der automatischen XMLHttpRequest folgen, die beim Rendern der Seite generiert wird.

1. Google crawlt die URL yummy-sundae.html.
2. Google beginnt mit der Indexierung von yummy-sundae.html und beschließt im Rahmen dieses Prozesses, zu versuchen, die Seite zu rendern, um ihren Inhalt besser zu verstehen und/oder die Instant Preview zu generieren.
3. Während des Renderns sendet yummy-sundae.html automatisch eine XMLHttpRequest für eine Ressource namens hot-fudge-info.html unter Verwendung der POST -Methode.
4. Die über POSTangeforderte URL hot-fudge-info.html wird zusammen mit ihrer Datennutzlast zur Crawling-Warteschlange des Googlebots hinzugefügt.
5. Der Googlebot führt eine POST -Anfrage aus, um hot-fudge-info.html zu crawlen.
6. Google verfügt nun über eine genaue Darstellung von yummy-sundae.html für Instant Previews. In bestimmten Fällen können wir auch den Inhalt von hot-fudge-info.html in yummy-sundae.html integrieren.
7. Google schließt die Indexierung von yummy-sundae.html ab.
8. Der Nutzer sucht nach „hot fudge sundae“.
9. Die Google-Algorithmen können nun besser bestimmen, wie relevant yummy-sundae.html für diese Anfrage ist, und wir können einen Snapshot der Seite für Instant Previews korrekt anzeigen.

Verbesserung der Crawlbarkeit und Indexierbarkeit Ihrer Website

Allgemeine Ratschläge zum Erstellen crawlarher Websites finden Sie in unserem
Hilfebereich. Für Webmaster, die Google dabei helfen möchten, ihre Inhalte zu crawlen und zu indexieren und/or die Instant Preview zu generieren, sind hier ein paar einfache Erinnerungen:

• Bevorzugen Sie GET zum Abrufen von Ressourcen, es sei denn, es gibt einen spezifischen Grund für die Verwendung von
  POST.
• .
  Stellen Sie sicher, dass wir die zum Rendern Ihrer Seite erforderlichen Ressourcen crawlen dürfen. Wenn im obigen Beispiel hot-fudge-info.html durchrobots.txt
  gesperrt ist, ruft der Googlebot sie nicht ab. Noch feiner ist, dass wir die Verbindung zwischen yummy-sundae.html und hot-fudge-info.html nicht sehen, wenn sich der JavaScript-Code, der die XMLHttpRequest auslöst, in einer externen .jsC-Datei (oder .js-Datei) befindet, die durch robots.txt gesperrt ist. Selbst wenn Letzteres nicht selbst gesperrt ist, hilft uns das möglicherweise nicht viel. Wir haben in der Praxis noch kompliziertere Abhängigkeitsketten gesehen. Um Google zu helfen, Ihre Website besser zu verstehen, ist es fast immer besser, dem Googlebot das Crawlen aller Ressourcen zu erlauben.
  Sie können testen, ob Ressourcen blockiert werden über
  Webmaster Tools
  Labs >
  Instant Previews.
• Stellen Sie sicher, dass Sie Googlebot denselben Inhalt zurückgeben, der auch an die Webbrowser der Nutzer ausgeliefert wird.
  Cloaking
  (das Senden unterschiedlicher Inhalte an Googlebot und an Nutzer) verstößt gegen unsere
  Webmaster Guidelines
  , da dies unter anderem dazu führen kann, dass wir einem Suchender ein Irrelevantes Ergebnis liefern – der Inhalt, den der Nutzer in seinem Browser sieht, weicht möglicherweise völlig von dem ab, was wir gecrawlt und indiziert haben. Wir haben zahlreiche POST Anfragebeispiele gesehen, bei denen ein Webmaster unabsichtlich Cloaking eingesetzt hat (was immer noch ein Verstoß ist) und dieses Cloaking – selbst bei kleinsten Änderungen – dann JavaScript-Fehler verursacht hat, die eine genaue Indizierung verhinderten und ihren Grund für das Cloaking von vornherein völlig zunichte machten. Zusammenfassend lässt sich sagen: Wenn Sie möchten, dass Ihre Website suchmaschinenfreundlich ist, ist Cloaking eine durch und durch knifflige Angelegenheit, die man am besten vermeiden sollte.
  
  Um zu überprüfen, ob Sie nicht versehentlich Cloaking verwenden, können Sie
  Instant Previews
  innerhalb von Webmaster Tools nutzen oder versuchen, die User-Agent-Zeichenfolge in Ihrem Browser auf etwas Ähnliches einzustellen wie:

  Ihre Website sollte nach einer solchen Änderung optisch unverändert aussehen. Wenn Sie eine leere Seite oder einen JavaScript-Fehler sehen oder wenn Teile der Seite fehlen oder anders sind, stimmt etwas nicht.

• Denken Sie daran, wichtige Inhalte (also die Inhalte, die Sie indiziert haben möchten) als Text einzubinden, der direkt auf der Seite sichtbar ist und für dessen Anzeige keine Nutzerinteraktion erforderlich ist. Die meisten Suchmaschinen basieren auf Text und funktionieren im Allgemeinen mit textbasierten Inhalten am besten. Wir verbessern kontinuierlich unsere Fähigkeit, auf verschiedene Weisen veröffentlichte Inhalte zu crawlen und zu indizieren, aber es bleibt eine bewährte Praxis, Text für wichtige Informationen zu verwenden.

Steuerung Ihrer Inhalte

Wenn Sie verhindern möchten, dass Inhalte für die Google Websuche gecrawt oder indiziert werden, bleiben herkömmliche
robots.txt rules
die beste Methode. Um die Instant Preview für Ihre Seite(n) zu verhindern, lesen Sie bitte unsere
Instant Previews FAQ
, in der der Google Web Preview User-Agent und das nosnippet meta tag

beschrieben werden.

Ausblick

Wir werden uns weiterhin bemühen, die Vollständigkeit unseres Index zu erhöhen, damit Suchende relevantere Informationen finden können. Und wir gehen davon aus, dass sich unsere Crawling- und Indizierungsfähigkeiten im Laufe der Zeit verbessern und weiterentwickeln werden, genau wie das Web selbst. Bitte lassen Sie uns wissen, wenn Sie Fragen oder Bedenken haben.
Verfasst vonPawel Aleksander Fedorynski
,
Software Engineer, Indexing Team, undMaile Ohye