Die Googlebot-Log-Analyse umfasst die Überprüfung Ihrer Server-Anfrage-Logs, um genau zu sehen, auf welche Dateien der Crawler zugegriffen hat und wann. Verwaiste Seiten sind solche, die auf Ihrem Server existieren, aber keine internen Links von anderen Teilen Ihrer Website aufweisen. Durch den Vergleich Ihrer Liste bekannter URLs mit den tatsächlichen Aktivitäten in Ihren Server-Logs können Sie Seiten identifizieren, die der Googlebot gefunden hat, die Sie aber möglicherweise versäumt haben, in Ihre Hauptseitenstruktur aufzunehmen.
Das Finden dieser versteckten Seiten ist entscheidend für die Aufrechterhaltung eines gesunden Crawl-Budgets. Wenn der Googlebot Zeit mit verwaisten Inhalten verbringt, vernachlässigt er möglicherweise Ihre Seiten mit hoher Priorität. Dieser Artikel erklärt, wie Sie diese Muster erkennen und strukturelle Probleme beheben können, um Ihre Suchsichtbarkeit zu steigern.
Warum ist die Googlebot-Log-Analyse für SEO notwendig?
Suchmaschinen entdecken neue Inhalte hauptsächlich, indem sie Links folgen. Wenn eine Seite keine internen Links hat, wird sie für den Crawler unsichtbar, es sei denn, sie erscheint in einer Sitemap oder ist von einer externen Quelle aus verlinkt. Die Analyse von Logs hilft Ihnen, die Effizienz des Crawling-Prozesses zu verstehen und stellt sicher, dass Ihre Hauptseiten die Aufmerksamkeit erhalten, die sie verdienen.
Viele Websites leiden unter „Crawl-Bloat“, bei dem der Googlebot Zeit mit alten Hilfsseiten oder aufgegebenen Staging-Bereichen verschwendet. Durch die Überprüfung der Log-Daten können Sie sehen, ob sich der Crawler in diesen Sackgassen verfängt. Diese Analyse offenbart den Unterschied zwischen Ihrer beabsichtigten Architektur und dem, was die Suchmaschine beim Durchlaufen Ihrer Dateien tatsächlich erlebt.
In einem typischen Konto stellen wir oft fest, dass 15 % des gesamten Crawl-Budgets für Seiten ausgegeben werden, die dem Nutzer keinen Wert bieten. Dies geschieht, da diese Seiten vor Jahren indexiert wurden und trotz fehlender aktueller interner Links immer noch in der Datenbank von Google existieren. Die Log-Analyse liefert die notwendigen Beweise, um diese Bereiche effektiv aufzuräumen.
Wie definieren Sie eine verwaiste Seite in Ihren Logs?
Eine verwaiste Seite erscheint in Ihren Logs mit dem Statuscode 200, was darauf hinweist, dass auf sie zugegriffen wurde, dennoch fehlt sie in Ihrer Liste interner Seiten-URLs. Sie sollten diese Überprüfung in diesen Schritten durchführen, um sicherzustellen, dass Sie alle potenziellen Lücken in Ihrer internen Verlinkungsstrategie abdecken.
- Exportieren Sie Ihre Server-Zugriffs-Logs für einen bestimmten Zeitraum, z. B. die letzten 30 Tage.
- Filtern Sie die Logs, um Anfragen zu isolieren, die speziell vom Googlebot-User-Agent stammen.
- Erstellen Sie eine umfassende Liste aller URLs aus Ihrer aktuellen XML-Sitemap und den internen Crawl-Daten.
- Verwenden Sie eine Tabellenkalkulation oder ein Vergleichstool, um angeforderte URLs zu identifizieren, die in Ihrem internen Audit-Export nicht vorhanden sind.
- Überprüfen Sie, ob diese verwaisten Seiten umgeleitet, entfernt oder mit Ihrer Hauptnavigation verlinkt werden sollten.
Eine konsistente Überwachung ist erforderlich, da nach Website-Migrationen oder CMS-Updates neue verwaiste Seiten auftreten können. Wenn Sie den Vergleichsprozess automatisieren, verwandeln Sie eine reaktive Bereinigungsaufgabe in einen proaktiven Wartungsplan. Dies stellt sicher, dass Ihre Website sauber bleibt und der Googlebot seine Zeit für Ihre neuesten, qualitativ hochwertigen Inhalte aufwendet.
Wie greift Googlebot auf Ihre Website zu?
Für die meisten Websites sollte der Googlebot im Durchschnitt nicht häufiger als einmal alle paar Sekunden auf Ihre Website zugreifen.
Google Search Central
Das Verständnis des Verhaltens des Crawlers ist unerlässlich. Wenn Sie eine hohe Frequenz von Zugriffen auf Seiten bemerken, die Sie als privat oder unverlinkt vorgesehen hatten, zeigt Ihre Log-Analyse, dass der Googlebot diese Pfade über sekundäre Quellen wie alte Sitemaps oder externe Backlinks findet. Dies erklärt, warum eine verwaiste Seite möglicherweise immer noch Besuche erhält.
Googlebot verwendet verschiedene User-Agents wie Smartphone und Desktop, um Ihre Inhalte abzurufen. Bei der Untersuchung von Logs ist es sinnvoll, beide Typen zu aggregieren, um das vollständige Bild der Website-Abdeckung zu sehen. Wenn Sie ein hohes Anfragevolumen für einen bestimmten Ordner sehen, überprüfen Sie, ob dieser Ordner Legacy-Dateien enthält, die über robots.txt hätten blockiert werden sollen.
Wie Alien Road dies anwendet
Bei Alien Road integrieren wir die Log-Analyse in unseren technischen Standard-Auditprozess. Wir verlassen uns nicht auf automatisierte Vermutungen; wir betrachten die von Ihrem Server generierten Rohdaten. Bei einem typischen Mandat überprüfen wir die Verteilung des Crawl-Budgets auf Ihre Website-Bereiche, um sicherzustellen, dass Ihre primären Assets priorisiert werden.
- Zuordnung der genauen Crawl-Frequenz von umsatzstarken Seiten im Vergleich zu wertarmen Hilfsseiten.
- Identifizierung, ob verwaiste Seiten Crawl-Budget verbrauchen, das Kernproduktkategorien zugewiesen werden sollte.
- Einrichtung einer serverseitigen Überwachung, um neue verwaiste Seiten zu melden, sobald sie vom Bot entdeckt werden.
- Verfeinerung der Website-Architektur, um sicherzustellen, dass jede relevante Seite mindestens einen klaren internen Link hat.
- Überprüfung auf unerwartete Indexierung von Staging-URLs oder temporären Dateien, die versehentlich offengelegt wurden.
Wir arbeiten oft mit E-Commerce-Kunden zusammen, die jeden Monat Tausende neuer Artikel hinzufügen. Durch die Anwendung dieser Methodik stellen wir sicher, dass neue Produkte nicht verwaist bleiben. Wir überprüfen die Logs, um zu sehen, ob der Googlebot diese Artikel sofort nach ihrer Veröffentlichung findet, was bestätigt, dass unsere interne Verlinkungsstrategie wie gewünscht funktioniert.
Welche technischen Faktoren beeinflussen die Crawl-Effizienz?
Über die Verlinkung hinaus ist das von Ihrem Server verwendete Protokoll von entscheidender Bedeutung. Moderne Crawler profitieren von HTTP/2 und HTTP/3, die einen effizienteren Ressourcenabruf ermöglichen. Wenn sich Ihr Server immer noch auf ältere Protokolle verlässt, hat der Googlebot möglicherweise mit Latenzproblemen zu kämpfen, wodurch Ihre Website für den Crawler langsamer erscheint, als sie tatsächlich ist.
Multiplexing ist ein Schlüsselmerkmal moderner Protokolle, das es dem Googlebot ermöglicht, mehrere CSS- und JavaScript-Dateien über eine einzige Verbindung abzurufen. Dies reduziert die Anzahl der erforderlichen Server-Handshakes drastisch. Bei der Optimierung Ihrer Website ist die Sicherstellung, dass Ihr Server für diese modernen Standards konfiguriert ist, ein praktischer Schritt, der Ihre Log-Analyse-Ergebnisse ergänzt.
Wo Sie diese Woche beginnen sollten
Beginnen Sie damit, das von Ihrem Hosting-Anbieter am häufigsten verwendete Log-Analyse-Tool zu identifizieren. Stellen Sie sicher, dass Sie Zugriff auf Roh-Log-Dateien haben und nicht nur auf zusammengefasste Berichte. Sobald Sie Ihre Logs erhalten haben, filtern Sie nach dem Googlebot-User-Agent-String und vergleichen Sie die eindeutigen URLs mit Ihrer Sitemap.
Wenn Sie verwaiste Seiten finden, die wertvolle Inhalte enthalten, erstellen Sie sofort interne Links zu ihnen, damit der Googlebot sie korrekt indexieren kann. Wenn die Seiten veraltet sind, richten Sie 301-Weiterleitungen auf die relevanteste Live-Seite ein. Dieser einfache Schritt, der wöchentlich durchgeführt wird, hält Ihre Website-Struktur gesund und stellt sicher, dass Ihre besten Inhalte der Hauptfokus für Suchmaschinen bleiben.