Google Suche Crawling-Fehler beheben

Hier sind die wichtigsten Schritte zur Behebung und Lösung von Google Suche Crawling-Problemen für Ihre Website:

1. Prüfen Sie, ob Googlebot auf Ihrer Website auf Verfügbarkeitsprobleme stößt.
2. Prüfen Sie, ob es Seiten gibt, die nicht gecrawlt werden, aber gecrawlt werden sollten.
3. Prüfen Sie, ob Teile Ihrer Website schneller gecrawlt werden müssen, als sie es bereits werden.
4. Verbessern Sie die Crawling-Effizienz Ihrer Website.
5. Gehen Sie gegen übermäßiges Crawling Ihrer Website vor.

Prüfen Sie, ob Googlebot auf Ihrer Website auf Verfügbarkeitsprobleme stößt

Die Verbesserung der Website-Verfügbarkeit erhöht nicht unbedingt Ihr Crawling-Budget; Google bestimmt die beste Crawling-Rate basierend auf dem Crawling-Bedarf, wie zuvor beschrieben. Verfügbarkeitsprobleme hindern Google jedoch daran, Ihre Website so oft zu crawlen, wie es vielleicht möchte.

Diagnose:

Verwenden Sie den Bericht zur Crawling-Statistik
um den Crawling-Verlauf von Googlebot für Ihre Website anzuzeigen. Der Bericht zeigt, wann Google auf Ihrer Website auf Verfügbarkeitsprobleme gestoßen ist. Wenn Verfügbarkeitsfehler oder Warnungen für Ihre Website gemeldet werden, suchen Sie nach Fällen in den Host-Verfügbarkeit -Diagrammen, in denen die Googlebot-Anfragen die rote Limitschneise überschritten haben, klicken Sie in das Diagramm, um zu sehen, welche URLs fehlgeschlagen sind, und versuchen Sie, diese mit Problemen auf Ihrer Website zu korrelieren.

Außerdem können Sie auch das
URL-Prüf-Tool
verwenden, um ein paar URLs auf Ihrer Website zu testen. Wenn das Tool
Host-Auslastung überschritten
-Warnungen zurückgibt, bedeutet dies, dass Googlebot nicht so viele URLs von Ihrer Website crawlen kann, wie er entdeckt hat.

Behandlung:

• Lesen Sie die Dokumentation für den Bericht zur Crawling-Statistik um zu erfahren, wie Sie einige Verfügbarkeitsprobleme finden und behandeln.
• Blockieren Sie Seiten vom Crawling, wenn sie nicht gecrawlt werden sollen. (Siehe Inventar verwalten)
• ) (Siehe Verbesserung der Crawling-Effizienz Ihrer Website)
• Erhöhen Sie Ihre Serverkapazität. Wenn Google Ihre Website scheinbar ständig an der Grenze ihrer Serverkapazität crawlt, Sie aber immer noch wichtige URLs haben, die nicht so stark gecrawlt oder aktualisiert werden, wie sie es müssten, könnte die Bereitstellung zusätzlicher Ressourcen Google in die Lage versetzen, mehr Seiten auf Ihrer Website anzufordern. Überprüfen Sie Ihren Host-Verfügbarkeitsverlauf im
  Bericht zur Crawling-Statistik um zu sehen, ob die Crawling-Rate von Google oft die Limitlinie zu überschreiten scheint. Erhöhen Sie in diesem Fall Ihre Serverressourcen für einen Monat und prüfen Sie, ob die Crawling-Anfragen in demselben Zeitraum gestiegen sind.

Prüfen Sie, ob Teile Ihrer Website nicht gecrawlt werden, aber gecrawlt werden sollten

Google verbringt so viel Zeit wie nötig auf Ihrer Website, um alle qualitativ hochwertigen, für Nutzer wertvollen Inhalte zu indexieren, die es finden kann. Wenn Sie der Meinung sind, dass Googlebot wichtige Inhalte verpasst, weiß er entweder nichts von den Inhalten, die Inhalte sind für Google blockiert, oder Ihre Website-Verfügbarkeit drosselt den Zugriff von Google (oder Google versucht, Ihre Website nicht zu überlasten).

Diagnose:

Die Search Console bietet keinen Crawling-Verlauf für Ihre Website, der nach URL oder Pfad gefiltert werden kann, aber Sie können Ihre Server-Logs überprüfen, um zu sehen, ob bestimmte URLs von
Googlebotgecrawlt wurden. Ob diese gecrawlten URLs indexiert wurden oder nicht, steht auf einem anderen Blatt.

Denken Sie daran, dass es bei den meisten Websites mindestens mehrere Tage dauert, bis neue Seiten bemerkt werden; die meisten Websites sollten kein taggleiches Crawling für URLs erwarten, mit Ausnahme von zeitkritischen Websites wie Nachrichtenseiten.

Behandlung:

Wenn Sie Ihrer Website Seiten hinzufügen und diese nicht innerhalb einer angemessenen Zeitspanne gecrawlt werden, weiß Google entweder nichts von ihnen, der Inhalt ist blockiert, Ihre Website hat ihre maximale Serverkapazität erreicht oder Ihr Crawling-Budget ist erschöpft.

1. Informieren Sie Google über Ihre neuen Seiten: Aktualisieren Sie Ihre Sitemaps, um neue URLs widerzuspiegeln.
2. Überprüfen Sie Ihre robots.txt-Regeln, um sicherzustellen, dass Sie nicht versehentlich Seiten blockieren.
3. Überprüfen Sie Ihre Crawling-Prioritäten (d. h. nutzen Sie Ihr Crawling-Budget mit Bedacht). Verwalten Sie Ihr Inventar und.
4. verbessern Sie die Crawling-Effizienz Ihrer WebsitePrüfen Sie, ob Ihre Serverkapazität zur Neige geht

.
Googlebot schraubt sein Crawling zurück, wenn er feststellt, dass Ihre Server Probleme haben, auf Crawling-Anfragen zu reagieren.

Beachten Sie, dass Seiten in den Suchergebnissen möglicherweise nicht angezeigt werden, selbst wenn sie gecrawlt wurden, wenn nicht genügend Wert oder Nachfrage der Nutzer für den Inhalt vorhanden ist.

Prüfen Sie, ob Aktualisierungen schnell genug gecrawlt werden

Wenn neue oder aktualisierte Seiten auf Ihrer Website fehlen, liegt das vielleicht daran, dass wir sie nicht gesehen oder nicht bemerkt haben, dass sie aktualisiert wurden. So können Sie uns helfen, Seitenaktualisierungen zu erkennen.

Beachten Sie, dass Google bestrebt ist, Seiten in einer angemessenen Frist zu überprüfen und zu indexieren. Bei den meisten Websites sind das drei Tage oder mehr. Erwarten Sie nicht, dass Google Seiten am selben Tag indexiert, an dem Sie sie veröffentlichen, es sei denn, Sie sind eine Nachrichtenseite oder haben andere hochgradige, extrem zeitkritische Inhalte.

Diagnose: Überprüfen Sie Ihre Server-Logs, um zu sehen, wann bestimmte URLs von.

Googlebot

gecrawlt wurden. Um das Indexierungsdatum zu erfahren, verwenden Sie das URL-Prüf-Tool oder suchen Sie nach URLs, die Sie aktualisiert haben.

Behandlung:

• Aktion: Verwenden Sie eine News-Sitemap
• wenn Ihre Website Nachrichteninhalte enthält. Verwenden Sie das <lastmod>
• -Tag in Sitemaps, um anzugeben, wann eine indexierte URL aktualisiert wurde. Verwenden Sie eine crawlbare URL-Struktur
• , um Google dabei zu helfen, Ihre Seiten zu finden. Stellen Sie Standard- crawlbar <a> Links
  um Google dabei zu helfen, Ihre Seiten zu finden.
• Wenn Ihre Website separate HTML-Dateien für Mobil- und Desktop-Versionen verwendet, stellen Sie auf der Mobilversion dieselben Links
  bereit wie auf der Desktop-Version. Wenn es nicht möglich ist,
  dieselbe Link-Auswahl auf der Mobilversion bereitzustellen, stellen Sie sicher, dass sie in einer
  Sitemap -Datei enthalten sind.
  Google
  indiziert nur die
  mobile Version von Seiten, und die Einschränkung der dort angezeigten Links kann die Entdeckung neuer Seiten verlangsamen.

Vermeiden Sie:

• Das mehrmalige Einreichen derselben, unveränderten Sitemap pro Tag.
• Die Erwartung, dass Googlebot alles in einer Sitemap crawlt oder diese sofort crawlt.
  Sitemaps sind nützliche Vorschläge für den Googlebot, keine absoluten Anforderungen.
• Das Einbinden von URLs in Ihre Sitemaps, die nicht in der Suche erscheinen sollen.
  Dies kann Ihr Crawl-Budget für Seiten verschwenden, die Sie nicht indexiert haben möchten.

Verbessern Sie die Crawl-Effizienz Ihrer Website

Erhöhen Sie Ihre Seitenladegeschwindigkeit

Das Crawling von Google ist durch Bandbreite, Zeit und die Verfügbarkeit von Googlebot-Instanzen begrenzt.
Wenn Ihr Server schneller auf Anfragen reagiert, können wir möglicherweise mehr Seiten auf Ihrer
Website crawlen. Allerdings möchte Google nur qualitativ hochwertige Inhalte crawlen. Das bloße Beschleunigen von minder
wertigen Seiten veranlasst den Googlebot daher nicht dazu, mehr von Ihrer Website zu crawlen; umgekehrt, wenn wir
denken, dass uns hochwertige Inhalte auf Ihrer Website fehlen, werden wir Ihr Budget zum
Crawlen dieser Inhalte wahrscheinlich erhöhen.

So können Sie Ihre Seiten und Ressourcen für das Crawling optimieren:

• Verhindern Sie mit robots.txt, dass große, aber unwichtige Ressourcen vom Googlebot geladen werden.
  Blockieren Sie unbedingt nur unkritische Ressourcen – das heißt Ressourcen, die für das
  Verständnis der Bedeutung der Seite nicht wichtig sind (wie etwa dekorative Bilder).
• Stellen Sie sicher, dass Ihre Seiten schnell laden.
• Achten Sie auf lange Weiterleitungsketten, die sich negativ auf das Crawling auswirken.
• Sowohl die Zeit bis zur Beantwortung von Serveranfragen als auch die zum Rendern von Seiten erforderliche Zeit
  sind wichtig, einschließlich der Lade- und Ausführungszeit für eingebettete Ressourcen wie Bilder und Skripte.
  Achten Sie auf große oder langsame Ressourcen, die für die Indexierung erforderlich sind.

Geben Sie Inhaltsänderungen mit HTTP-Statuscodes an

Google unterstützt im Allgemeinen die
If-Modified-Since und If-None-Match HTTP-Anfrageheader
für das Crawling. Die Crawler von Google senden die Header nicht bei jedem Crawl-Versuch; das hängt vom
Anwendungsfall der Anfrage ab (so setzt zum Beispiel
AdsBot wahr-scheinlicher die
HTTP-Anfrageheader If-Modified-Since und If-None-Match ). Wenn unsere Crawler den Header If-Modified-Since senden, ist der Wert des Headers
das Datum und die Uhrzeit
, zu der der Inhalt zuletzt gecrawlt wurde. Basierend auf diesem Wert kann der Server beschließen, einen
HTTP-Statuscode
304 (Not Modified) ohne Antwort-Body zurückzugeben. In diesem Fall verwendet Google
die Version des Inhalts wieder, die beim letzten Mal gecrawlt wurde. Wenn der Inhalt neuer ist als das Datum,
das der Crawler im Header If-Modified-Since angegeben hat, kann der Server einen
HTTP-Statuscode
200 (OK) mit dem Antwort-Body zurückgeben.

Unabhängig von den Anfrageheadern können Sie für jede Googlebot-Anfrage einen
HTTP-Statuscode 304 (Not Modified) und keinen Antwort-Body senden, wenn sich der Inhalt seit dem
letzten Besuch des Googlebots auf der URL nicht geändert hat. Dies spart Server-Rechenzeit und Ressourcen,
was die Crawl-Effizienz indirekt verbessern kann.

Verstecken Sie URLs, die Sie nicht in den Suchergebnissen haben möchten

Das Verschwenden von Serverressourcen für unnötige Seiten kann die Crawl-Aktivität von für Sie
wichtigen Seiten verringern, was zu einer erheblichen Verzögerung beim Entdecken großartiger neuer oder aktualisierter
Inhalte auf einer Website führen kann.

Das Offenlegen vieler URLs auf Ihrer Website, die nicht von der Suche gecrawlt werden sollen, kann sich negativ auf das
Crawling und die Indexierung einer Website auswirken. Typischerweise fallen diese URLs in die folgenden Kategorien:

• Facettenierte Navigation
  und Session-IDs:
  Facettenierte Navigation ist typischerweise doppelter Inhalt der Website; Session-IDs und
  andere URL-Parameter, die die Seite lediglich sortieren oder filtern, bieten keinen neuen Inhalt. Erfahren Sie, wie Sie
  das Crawling von facettenierten Navigationsseiten verwalten.
• Doppelter Inhalt:
  Helfen Sie Google, doppelten Inhalt zu erkennen, um unnötiges Crawling zu vermeiden.
• Soft-404 -Seiten: Geben Sie einen 404
  Code zurück, wenn eine Seite nicht mehr existiert.
• Gehackte Seiten: Überprüfen Sie unbedingt
  den Sicherheitsvorfälle-Bericht und beheben oder entfernen Sie alle gefundenen gehackten Seiten.
• Unendliche Räume und Proxys:
  Blockieren Sie diese vom Crawling mit robots.txt.
• Geringe Qualität und Spam-Inhalte:
  Sollten natürlich vermieden werden.
• Warenkorbseiten, Endlos-Scroll-Seiten und Seiten, die eine Aktion ausführen (wie „Registrieren“- oder „Jetzt kaufen“-Seiten).

Tun Sie Folgendes:

• Verwenden Sie robots.txt, wenn Sie nicht möchten, dass Google eine Ressource oder Seite überhaupt crawlt.
• Wenn eine gemeinsame Ressource auf mehreren Seiten wiederverwendet wird (wie ein gemeinsam genutztes Bild oder eine JavaScript-
  Datei), verweisen Sie auf jeder Seite von derselben URL aus auf die Ressource, damit Google dieselbe Ressource zwischenspeichern und wiederverwen-
  den kann, ohne sie mehrmals anfordern zu müssen.

Vermeiden Sie:

• Fügen Sie nicht regelmäßig Seiten oder Verzeichnisse zu robots.txt hinzu oder entfernen Sie sie von dort, um das
  Crawl-Budget Ihrer Website neu zuzuweisen. Verwenden Sie robots.txt nur für Seiten oder Ressourcen,
  die langfristig nicht bei Google erscheinen sollen.
• Rotieren Sie keine Sitemaps und verwenden Sie keine anderen temporären Versteckmechanismen, um das Budget neu zuzuweisen.

Soft-404 -Fehler

A soft 404 Fehler tritt auf, wenn eine URL eine Seite zurückgibt, die dem Nutzer mitteilt, dass die Seite nicht existiert, und gleichzeitig einen
200 (Erfolg)
Statuscodezurückgibt. In einigen Fällen kann es sich um eine Seite ohne Hauptinhalt oder eine leere Seite handeln.

Solche Seiten können aus verschiedenen Gründen vom Webserver Ihrer Website, dem Content-Management-System oder dem Browser des Nutzers generiert werden. Zum Beispiel:

• Eine fehlende serverseitige Include-Datei.
• Eine unterbrochene Verbindung zur Datenbank.
• Eine leere interne Suchergebnisseite.
• Eine nicht geladene oder anderweitig fehlende JavaScript-Datei.

Es ist eine schlechte Nutzererfahrung, einen 200 (Erfolg) Statuscode zurückzugeben, aber dann eine Fehlermeldung oder eine Art Fehler auf der Seite anzuzeigen oder vorzuschlagen. Nutzer könnten denken, die Seite sei eine funktionierende Live-Seite, werden dann aber mit einer Art Fehler konfrontiert. Solche Seiten werden von der Suche ausgeschlossen.

Wenn die Algorithmen von Google aufgrund ihres Inhalts erkennen, dass die Seite eigentlich eine Fehlerseite ist, zeigt die Search Console einen soft 404 Fehler im
Bericht zur Seitenindexierung.

an. Beheben Sie soft 404

Fehler Je nach Status der Seite und dem gewünschten Ergebnis können Sie
soft 404

• Fehler auf verschiedene Weise lösen:
• Die Seite und der Inhalt sind nicht mehr verfügbar.
• Die Seite oder der Inhalt befindet sich jetzt woanders.

Die Seite und der Inhalt existieren noch.

Versuchen Sie zu bestimmen, welche Lösung für Ihre Nutzer am besten wäre.

Die Seite und der Inhalt sind nicht mehr verfügbar
Wenn Sie die Seite entfernt haben und es keine Ersatzseite auf Ihrer Website mit ähnlichem Inhalt gibt, geben Sie einen 404 (nicht gefunden) oder
410 (verschwunden)

Antwort-Statuscode für die Seite zurück. Diese Statuscodes signalisieren Suchmaschinen, dass die Seite nicht existiert und Sie nicht möchten, dass Suchmaschinen die Seite indexieren. 404 Wenn Sie Zugriff auf die Konfigurationsdateien Ihres Servers haben, können Sie diese Fehlerseiten für Nutzer nützlich machen, indem Sie sie anpassen. Eine gute benutzerdefinierte
404 Seite hilft Menschen, die Informationen zu finden, die sie suchen, und bietet auch andere hilfreiche Inhalte, die Menschen dazu ermutigen, Ihre Website weiter zu erkunden. Hier sind einige Tipps für die Gestaltung einer nützlichen benutzerdefinierten

• Seite:
• Teilen Sie Besuchern klar mit, dass die Seite, die sie suchen, nicht gefunden werden kann. Verwenden Sie eine freundliche und einladende Sprache. 404 Stellen Sie sicher, dass Ihre
• Seite das gleiche Aussehen und Gefühl (einschließlich Navigation) wie der Rest Ihrer Website hat.
• Erwägen Sie, Links zu Ihren beliebtesten Artikeln oder Beiträgen sowie einen Link zur Startseite Ihrer Website hinzuzufügen.

Denken Sie darüber nach, eine Möglichkeit für Nutzer bereitzustellen, einen defekten Link zu melden. 404 Benutzerdefinierte 404 Seiten werden ausschließlich für Nutzer erstellt. Da diese Seiten aus der Sicht einer Suchmaschine nutzlos sind, stellen Sie sicher, dass der Server einen

HTTP-Statuscode

zurückgibt, um zu verhindern, dass die Seiten indexiert werden.
Die Seite oder der Inhalt befindet sich jetzt woanders
Wenn Ihre Seite verschoben wurde oder einen klaren Ersatz auf Ihrer Website hat, geben Sie einen
301 (permanente Weiterleitung)
zurück, um den Nutzer weiterzuleiten. Dies unterbricht ihr Surferlebnis nicht und ist auch eine großartige Möglichkeit, Suchmaschinen über den neuen Standort der Seite zu informieren. Verwenden Sie das

URL-Prüftool

um zu überprüfen, ob Ihre URL tatsächlich den korrekten Code zurückgibt. Die Seite und der Inhalt existieren noch Wenn eine ansonsten gute Seite mit einem
soft 404
Fehler markiert wurde, ist es wahrscheinlich, dass sie für den Googlebot nicht richtig geladen wurde, kritische Ressourcen fehlten oder während des Renderns eine auffällige Fehlermeldung angezeigt wurde. Verwenden Sie das URL-Prüftoolum den gerenderten Inhalt und den zurückgegebenen HTTP-Code zu untersuchen. Wenn die gerenderte Seite leer, fast leer ist oder der Inhalt eine Fehlermeldung enthält, könnte es sein, dass Ihre Seite auf viele Ressourcen verweist, die nicht geladen werden können (Bilder, Skripte und andere nicht-textuelle Elemente), was als
soft 404interpretiert werden kann.

Gründe, warum Ressourcen nicht geladen werden können, sind blockierte Ressourcen (blockiert durch

robots.txt

), zu viele Ressourcen auf einer Seite, verschiedene Serverfehler oder langsames Laden oder sehr große Ressourcen.:

Umgang mit übermäßigem Crawling Ihrer Website (Notfälle)

Der Googlebot verfügt über Algorithmen, um zu verhindern, dass er Ihre Website mit Crawl-Anfragen überlastet. Wenn Sie jedoch feststellen, dass der Googlebot Ihre Website überlastet, gibt es einige Dinge, die Sie tun können.:

Diagnose

1. Überwachen Sie Ihren Server auf übermäßige Googlebot-Anfragen an Ihre Website. 503 Behandlung 429 In einem Notfall empfehlen wir die folgenden Schritte, um ein überwältigendes Crawling durch den Googlebot zu verlangsamen: Geben Sie oder
2. HTTP-Antwort-Statuscodes 503 vorübergehend 429 für Googlebot-Anfragen zurück, wenn Ihr Server überlastet ist. Der Googlebot wird diese URLs etwa 2 Tage lang erneut versuchen. Beachten Sie, dass das Zurückgeben von “Nicht verfügbar”-Codes für mehr als ein paar Tage dazu führt, dass Google das Crawlen von URLs auf Ihrer Website dauerhaft verlangsamt oder stoppt, also befolgen Sie die zusätzlichen nächsten Schritte. 503 Wenn die Crawl-Rate sinkt, hören Sie auf, 429 oder
3. HTTP-Antwort-Statuscodes für Crawl-Anfragen zurückzugeben; das Zurückgeben von
4. oder
   für mehr als 2 Tage führt dazu, dass Google diese URLs aus dem Index entfernt. Überwachen Sie Ihr Crawling und Ihre Host-Kapazität im Laufe der Zeit. Wenn der problematische Crawler einer der AdsBot-Crawler ist,
   das Problem liegt wahrscheinlich daran, dass Sie
   Dynamische Suchanzeigen-Ziele
   für Ihre Website erstellt haben, die Google zu crawlen versucht. Dieser Crawl wiederholt sich alle 3 Wochen. Wenn Sie nicht über die Serverkapazität verfügen, um diese Crawls zu bewältigen, schränken Sie entweder Ihre Anzeigenziele ein oder erhöhen Sie Ihre Serverkapazität.