Planen Sie, Ihre Website auf eine neue Domain umzuziehen? Viele Webmaster finden diesen Prozess beängstigend.

Das Crawlen von HTML-Formularen

Freitag, 11. April 2008

Google probiert ständig neue Ideen aus, um unsere Abdeckung des Webs zu verbessern. Wir tun bereits einige ziemlich clevere Dinge wie das Scannen von JavaScript und Flash, um Links zu neuen Webseiten zu entdecken, und heute möchten wir über eine weitere neue technologie sprechen, mit der wir vor Kurzem begonnen haben zu experimentieren. In den letzten Monaten haben wir einige HTML-Formulare untersucht, um neue Webseiten und URLs zu entdecken, die wir für Nutzer, die bei Google suchen, sonst nicht finden und indexieren könnten. Insbesondere wenn wir auf ein <form>

-Element auf einer qualitativ hochwertigen Website stoßen, entscheiden wir uns möglicherweise dafür, eine kleine Anzahl von Abfragen über das Formular durchzuführen. Für Textfelder wählen unsere Computer automatisch Wörter von der Website aus, die das Formular enthält; für Auswahlmenüs, Kontrollkästchen und Optionsfelder im Formular wählen wir aus den Werten des HTML aus. Nachdem wir die Werte für jede Eingabe ausgewählt haben, generieren und versuchen wir, URLs zu crawlen, die einer möglichen Anfrage entsprechen, die ein Nutzer gestellt haben könnte. Wenn wir feststellen, dass die aus unserer Anfrage resultierende Webseite gültig und interessant ist und Inhalte enthält, die nicht in unserem Index sind, können wir sie genau wie jede andere Webseite in unseren Index aufnehmen.
Es versteht sich von selbst, dass dieses Experiment bewährten Praktiken für gutes Internet-Verhalten folgt. Nur eine kleine Anzahl besonders nützlicher Websites erhält diese Behandlung, und unser Crawl-Agent,der stets freundliche Googlebot , hält sich immer an die Regeln von robots.txt,nofollow und noindex . Das bedeutet, dass wir, wenn ein Suchformular in robots.txt verboten ist, keine der URLs crawlen, die ein Formular generieren würde. Ebenso rufen wir nur GET

-Formulare ab und vermeiden Formulare, die jegliche Art von Nutzerinformationen erfordern. Zum Beispiel lassen wir alle Formulare weg, die eine Passworteingabe haben oder Begriffe verwenden, die häufig mit persönlichen Informationen wie Logins, UserIDs, Kontakten usw. verbunden sind. Wir sind uns auch der Auswirkungen bewusst, die wir auf Websites haben können, und beschränken uns auf eine sehr kleine Anzahl von Abrufen für eine bestimmte Website.

Die Webseiten, die wir bei unserem verbesserten Crawl entdecken, gehen nicht auf Kosten regulärer Webseiten, die bereits Teil des Crawls sind, sodass diese Änderung das PageRank für Ihre anderen Seiten nicht verringert. Daher sollte sie lediglich die Sichtbarkeit Ihrer Website bei Google erhöhen. Diese Änderung beeinträchtigt auch das Crawling, Ranking oder die Auswahl anderer Webseiten in keiner nennenswerten Weise.
Dieses Experiment ist Teil von Googles breiterem Bemühen, seine Abdeckung des Webs zu erhöhen. Tatsächlich wird schon lange angenommen, dass HTML-Formulare das Tor zu großen Datenmengen jenseits des normalen Rahmens von Suchmaschinen sind. Die Begriffe Deep Web, Hidden Web oder
Invisible Web

wurden gemeinsam verwendet, um solche Inhalte zu bezeichnen, die bisher für Suchmaschinennutzer unsichtbar waren. Durch das Crawlen mithilfe von HTML-Formularen (und unter Beachtung von robots.txt) können wir Suchmaschinennutzer zu Dokumenten führen, die in Suchmaschinen sonst nicht leicht zu finden wären, und Webmastern sowie Nutzern gleichermaßen ein besseres und umfassenderes Sucherlebnis bieten.