Die Google Suche ist eine vollautomatische Suchmaschine, die Software namens Web-Crawler nutzt, die das Web regelmäßig durchforstet, um Seiten zu finden, die unserem Index hinzugefügt werden können. Tatsächlich wird die überwiegende Mehrheit der in unseren Ergebnissen aufgeführten Seiten nicht manuell zur Aufnahme eingereicht, sondern automatisch gefunden und hinzugefügt, wenn unsere Web-Crawler das Web erkunden. Dieses Dokument erläutert die Phasen der Funktionsweise der Suche im Kontext Ihrer Website. Dieses Grundwissen kann Ihnen helfen, Crawling-Probleme zu beheben, Ihre Seiten indexieren zu lassen und zu lernen, wie Sie optimieren, wie Ihre Website in der Google Suche erscheint.
Ein paar Hinweise, bevor wir beginnen
Bevor wir uns mit den Details befassen, wie die Suche funktioniert, ist es wichtig zu beachten, dass Google keine Zahlungen annimmt, um eine Website häufiger zu crawlen oder höher zu ranken. Wenn Ihnen jemand etwas anderes sagt, hat er Unrecht.
Google garantiert nicht, dass Ihre Seite gecrawlt, indexiert oder ausgeliefert wird, selbst wenn Ihre Seite den Google Search Essentials.
Vorstellung der drei Phasen der Google Suche
Die Google Suche funktioniert in drei Phasen, und nicht alle Seiten durchlaufen jede Phase:
- Crawling: Google lädt Text, Bilder und Videos von Seiten herunter, die es im Internet gefunden hat, mit automatisierten Programmen namens Crawlern.
- Indexierung: Google analysiert den Text, die Bilder und die Videodateien auf der Seite und speichert die Informationen im Google-Index, einer großen Datenbank.
- Bereitstellung von Suchergebnissen: Wenn ein Nutzer bei Google sucht, gibt Google Informationen zurück, die für die Anfrage des Nutzers relevant sind.
Crawling
Die erste Phase besteht darin herauszufinden, welche Seiten im Web existieren. Es gibt kein zentrales Verzeichnis aller Webseiten, daher muss Google ständig nach neuen und aktualisierten Seiten suchen und sie zu seiner Liste bekannter Seiten hinzufügen. Dieser Prozess wird als „URL-Entdeckung“ bezeichnet. Einige Seiten sind bekannt, weil Google sie bereits besucht hat. Andere Seiten werden entdeckt, wenn Google einen Link von einer bekannten Seite zu einer neuen Seite extrahiert: Zum Beispiel verlinkt eine Hub-Seite, wie eine Kategorieseite, auf einen neuen Blogbeitrag. Wieder andere Seiten werden entdeckt, wenn Sie eine Liste von Seiten (eine
Sitemap) einreichen, damit Google sie crawlt.
Sobald Google die URL einer Seite entdeckt, besucht (oder „crawlt“) es die Seite möglicherweise, um herauszufinden, was sich darauf befindet. Wir verwenden eine riesige Reihe von Computern, um Milliarden von Seiten im Web zu crawlen. Das Programm, das das Abrufen durchführt, heißt Googlebot
(auch bekannt als Crawler, Roboter, Bot oder Spider). Googlebot verwendet einen algorithmischen Prozess, um festzustellen, welche Websites gecrawlt werden sollen, wie oft und wie viele Seiten von jeder Website abgerufen werden sollen.
Die Crawler von Google
sind außerdem so programmiert, dass sie versuchen, die Website nicht zu schnell zu crawlen, um eine Überlastung zu vermeiden. Dieser Mechanismus basiert auf den Antworten der Website (zum Beispiel bedeuten
HTTP 500-Fehler „langsamer werden“).
). Googlebot crawlt jedoch nicht alle Seiten, die es entdeckt hat. Einige Seiten können vom Website-Eigentümer
für das Crawling gesperrt sein, andere Seiten sind möglicherweise ohne Anmeldung auf der Website nicht zugänglich.
Während des Crawls rendert Google die Seite und
führt jedes gefundene JavaScript
unter Verwendung einer aktuellen Version von
Chromeaus, ähnlich wie Ihr Browser die von Ihnen besuchten Seiten rendert. Rendering ist wichtig, da Websites häufig auf JavaScript angewiesen sind, um Inhalte auf die Seite zu bringen, und ohne Rendering sieht Google diese Inhalte möglicherweise nicht.
Das Crawling hängt davon ab, ob die Crawler von Google auf die Website zugreifen können. Zu den häufigen Problemen beim Zugriff von Googlebot auf Websites gehören:
- Probleme mit dem Server, der die Website betreibt
- Netzwerkprobleme
- robots.txt-Regeln, die den Zugriff von Googlebot auf die Seite verhindern
Indexierung
Nachdem eine Seite gecrawlt wurde, versucht Google zu verstehen, worum es auf der Seite geht. Diese Phase wird als Indexierung bezeichnet und umfasst die Verarbeitung und Analyse des Textinhalts sowie wichtiger Inhalts-Tags und -Attribute, wie z. B.
<title> -Elemente
und Alt-Attribute,
Bilder,
Videosund
mehr.
Während des Indexierungsprozesses stellt Google fest, ob eine Seite einDuplikat einer anderen Seite im Internet oder kanonisch ist
. Die kanonische Seite ist die Seite, die in den Suchergebnissen angezeigt werden kann. Um die kanonische Seite auszuwählen, gruppieren wir zunächst (auch Clustering genannt) die im Internet gefundenen Seiten mit ähnlichem Inhalt und wählen dann diejenige aus, die die Gruppe am besten repräsentiert. Die anderen Seiten in der Gruppe sind alternative Versionen, die in verschiedenen Kontexten bereitgestellt werden können, z. B. wenn der Nutzer von einem Mobilgerät aus sucht oder nach einer ganz bestimmten Seite aus diesem Cluster sucht.
Google sammelt auch Signale über die kanonische Seite und deren Inhalte, die in der nächsten Phase verwendet werden können, in der wir die Seite in den Suchergebnissen bereitstellen. Einige Signale umfassen die Sprache der Seite, das Land, für das der Inhalt lokalisiert ist, und die Benutzerfreundlichkeit der Seite.
Die gesammelten Informationen über die kanonische Seite und ihr Cluster können im Google-Index gespeichert werden, einer großen Datenbank, die auf Tausenden von Computern gehostet wird. Eine Indexierung ist nicht garantiert; nicht jede Seite, die Google verarbeitet, wird indexiert.
- Die Indexierung hängt auch vom Inhalt der Seite und ihren Metadaten ab. Zu den häufigen Indexierungsproblemen gehören:
- Die Qualität des Inhalts auf der Seite ist gering
Robots-Meta-Regelnverbieten - die Indexierung
Das Design der Website kann die Indexierung erschweren
Erfahren Sie mehr über Anzeigen in der Google Suche
Wenn ein Nutzer eine Anfrage eingibt, durchsucht unsere Maschinerie den Index nach passenden Seiten und gibt die Ergebnisse zurück, die unserer Meinung nach die höchste Qualität und Relevanz für die Anfrage des Nutzers aufweisen. Die Relevanz wird durch Hunderte von Faktoren bestimmt, zu denen Informationen wie Standort, Sprache und Gerät des Nutzers (Desktop oder Telefon) gehören können. Beispielsweise würde die Suche nach „Fahrradreparaturwerkstätten“ einem Nutzer in Paris andere Ergebnisse liefern als einem Nutzer in Hongkong. Basierend auf der Anfrage des Nutzers ändern sich auch die Suchfunktionen, die auf der Suchergebnisseite angezeigt werden. Beispielsweise führt die Suche nach „Fahrradreparaturwerkstätten“ wahrscheinlich zu lokalen Ergebnissen und keinenBildergebnissen
, während die Suche nach „modernem Fahrrad“ eher Bildergebnisse, aber keine lokalen Ergebnisse anzeigt. Sie können die gängigsten UI-Elemente der Google-Websuche in unserer.
Visual Element-Galerie
- erkunden.
- Die Search Console teilt Ihnen möglicherweise mit, dass eine Seite indexiert ist, aber Sie sehen sie nicht in den Suchergebnissen. Dies kann folgende Gründe haben:
- Der Inhalt der Seite ist für die Anfragen der Nutzer irrelevant
Die Qualität des Inhalts ist geringRobots-Meta-Regeln
verhindern
die Auslieferung.
So setzen wir das um
Understanding crawling, indexing and serving as three separate stages changes how you debug. When a client says a page ‘is not ranking’, our first question is which of these three stages it actually failed at, because the fix is completely different in each case.
Verwandte Leistungen