Wissenswertes über das Web-Crawling von Google

Google crawlt das offene Web
schon seit über 30 Jahren, und wir werden regelmäßig gefragt, wie unsere Web-Crawler funktionieren. Um einige dieser Fragen zu beantworten, finden Sie hier einige Fakten über die Crawler von Google und wie sie uns helfen, die Informationen der Welt zu organisieren und Menschen mit Inhalten aus dem ganzen Web zu verbinden.

Was ist Crawling? Kurz gesagt, Crawling ist die Art und Weise, wie Google das Web “sieht”

Crawling ist der Prozess, bei dem automatisierte Software verwendet wird, um neue Webseiten zu entdecken und zu verstehen. Wenn Sie also Google besuchen, um eine Webseite zu finden, wissen wir, dass sie existiert, und wir können sie in Ihre Suchergebnisse aufnehmen. Alle Suchmaschinen sind auf Crawling angewiesen, um zu wissen, welche Seiten und Informationen da draußen sein könnten. Sie können sich unser Video ansehen zu wie die Google-Suche Seiten crawlt
um mehr zu erfahren.

Wir haben viele Crawler; jeder von ihnen hat wichtige Aufgaben

Googlebot ist unser bekanntester Crawler und wird verwendet, um die Ergebnisse in der Google-Suche frisch und aktuell zu halten. Wir haben auch Crawler, die speziell für unsere anderen Oberflächen wie Google Bilder und Google Shopping entwickelt wurden. Wir stellen bereit vollständige Dokumentation
unserer am häufigsten verwendeten Crawler und wofür sie da sind. Unsere Crawler verwenden leicht identifizierbare User-Agent-Namen und bekannte Internetadressen. Auf diese Weise können Website-Besitzer sicher sein, dass die Google-Crawler, die sie sehen, legitim sind.

Wir führen wiederholte Crawls durch, um die neuesten Updates zu finden und die aktuellsten Suchergebnisse zu liefern

Um Eilmeldungen zu erfassen, crawlen wir Nachrichten-Startseiten möglicherweise alle paar Minuten. In anderen Fällen haben wir vielleicht festgestellt, dass sich seit Jahren nichts geändert hat, sodass wir vielleicht einen Monat mit dem erneuten Crawlen warten. Website-Besitzer können beeinflussen, wie oft das erneute Crawlen stattfindet, indem sie Sitemap
-Dateien verwenden, die uns über neue und aktualisierte Seiten informieren.

Häufiges Crawling ist ein gutes Zeichen!

Wenn wir Ihre Website häufig crawlen, ist das ein Indiz dafür, dass Ihre Seiten frische oder hochrelevante Inhalte haben, die die Leute finden möchten, und dass unsere Systeme diese Nachfrage erkennen. Online-Shopping ist ein hervorragendes Beispiel: Wir crawlen E-Commerce-Sites oft, damit unsere Ergebnisse die aktuellsten Preise, Werbeaktionen und den Lagerstatus der Händler anzeigen.

Das Crawling von Google ist im Laufe der Zeit gewachsen, da Seiten komplexer geworden sind

Ein weiterer Grund, warum wir häufig neu crawlen, ist, die Fülle einer Webseite und das, was sie bietet, vollständig zu verstehen. Unsere Crawler verwenden eine Technik namens Rendering, die eine Site vollständig lädt, um eine Seite genau so zu “sehen”, wie es ein echter Mensch tun würde. Im Laufe der Jahre sind Webseiten immer ausgefeilter geworden;
die durchschnittliche mobile Seite
ist in der Größe gewachsen von 816 Kilobyte auf 2.3 Megabyte,
und hat jetzt mehr als 60 verschiedene Dateien
zum Laden, von Bildern bis hin zu interaktiven Komponenten. Um also einen repräsentativen Schnappschuss einer Webseite in ihrer ganzen Pracht zu erhalten, müssen wir möglicherweise dieselbe Seite mehrmals crawlen – oder öfter, da ständig neue Elemente hinzugefügt werden.

Wir optimieren das Crawling automatisch

Unsere Crawler sind auf Effizienz ausgelegt und passen sich selbst an, um die Auswirkungen auf Website-Besitzer zu minimieren. Wenn beispielsweise eine Website langsamer wird oder Fehler zurückgibt, ändert sich unsere
Crawl-Rate automatisch
, um eine Überlastung der Server der Website zu vermeiden. Wir versuchen, verschwenderisches Crawling durch Caching der gecrawlten Inhalte zu begrenzen. Und während unsere Crawler mehr von einer Website entdecken, können sie auch Abschnitte erkennen, die mit weniger Crawling abgedeckt werden können; Kalender beispielsweise, die bis zum Jahr 9999 reichen, müssen wahrscheinlich nicht vollständig gecrawlt werden. Website-Besitzer können helfen, indem sie identifizieren
, welche Inhalte nicht gecrawlt werden müssen, was Websites Geld spart, indem ihre Infrastrukturkosten gesenkt werden, und das Internet insgesamt effizienter macht.

Google-Crawler gehen niemals ohne Erlaubnung in Paywalls oder Abo-Inhalte

Standardmäßig können unsere Crawler nicht darauf zugreifen, wenn eine Seite im offenen Web nicht zugänglich ist – beispielsweise wenn sich der Inhalt hinter einer Anmeldeseite befindet. Wir haben spezifische
Anleitungen für Website-Besitzer , wenn sie
Google die ausdrückliche Erlaubnis erteilen möchten, auf Abonnementseiten zuzugreifen (z. B. damit Google Nutzer auf diesen Inhalt verweisen kann). Wenn Sie sich entscheiden, unseren Crawlern Zugriff auf Abonnements zu gewähren, können Sie
strukturierte Daten verwenden
um menschlichen Besuchern weiterhin einen Anmeldebildschirm anzuzeigen, ohne unsere
Spam-Regelnauszulösen. Und Sie können verhindern, dass Abo-
Inhalte in Seitenvorschauen erscheinen, indem Sie
Vorschau-Steuerelemente.

nutzen. Website-Besitzer haben die Kontrolle darüber, was gecrawlt wird und wie

Wir respektieren offene Webstandards wie robots.txt,
eine einfache Textdatei, mit der Website-Besitzer erklären können, wie Crawler wie unsere mit ihren Seiten interagieren sollen. Robots.txt befähigt Websites zusammen mit Robots-Meta-Tags, Google und anderen Diensten problemlos mitzuteilen, wie sie auf ihre Inhalte zugreifen können. Sie können verhindern, dass Seiten in der Suche erscheinen. Sie können uns über neue Inhalte informieren, die sie crawlen möchten, indem sie Sitemapsverwenden. Und
sie können verwalten, wie oft wir ihre Websites über ihr
Crawl-Budget.

crawlen. Unsere Standard-Crawler
respektieren stets die Entscheidungen von Websites darüber, wie auf ihre Inhalte zugegriffen und wie sie verwendet werden.

Nach einem Crawl können wir die gecrawlten Daten mehrmals verwenden, um die Notwendigkeit verschwenderischer wiederholter Anfragen auf Websites zu reduzieren. Selbst wenn wir diese Daten wiederverwenden, respektieren wir weiterhin die Entscheidungen, die Websites über robots.txt und die von uns über dieses offene Webprotokoll bereitgestellten Steuerelemente treffen. Beispielsweise können Websites Google-Extended
in robots.txt verwenden, um unter anderem zu steuern, ob ihre Inhalte dazu beitragen, zukünftige Versionen von Gemini-Modellen zu trainieren. Die Nutzung von Google-Extended hat keinen Einfluss auf die Aufnahme einer Website in die Suche, und wir verwenden Google-Extended auch nicht als Ranking-Signal in der Suche.

Wir bieten Website-Besitzern viele Tools zur Verwaltung ihrer Google-Crawling-Erfahrung, darunter
Google Search Console,
das Website-Besitzern kostenlos zur Verfügung steht. Es bietet Informationen darüber
wie viel wir gecrawlt haben und warum.
Es hilft Websites auch dabei, Probleme wie Serverausfälle oder Geschwindigkeitsprobleme zu diagnostizieren. Darüber hinaus bietet die Search Console umfassende Informationen darüber, wie die Seiten einer Website in der Suche sichtbar sind und wie Nutzer mit ihnen interagieren.

Unsere Crawler helfen dabei, Menschen mit dem Besten des Webs zu verbinden, und wir sind immer auf der Suche nach Wegen, sie leistungsfähiger und effizienter zu machen.