Die Logfile-Analyse für SEO ist der Prozess der Untersuchung der von Ihrer Website generierten Rohteuer-Protokolle (Server-Logs), um genau zu verfolgen, wie Suchmaschinen-Crawler mit Ihren Seiten interagieren. Diese Dateien bieten eine Aufzeichnung jedes Besuchs eines Suchmaschinen-Bots auf Ihrer Website und bieten direkte Einblicke darin, wie Ihre Infrastruktur mit automatisierten Anfragen umgeht. Durch die Überprüfung dieser Protokolle erhalten Sie Zugriff auf die Rohdaten, die Aufschluss darüber geben, wie oft Crawler Ihre Website besuchen, welche spezifischen Seiten sie priorisieren und auf welche technischen Fehler sie während ihrer Sitzungen stoßen.
Was ist eine Logfile-Analyse und warum ist sie wichtig?
Ein Server-Log ist eine Textdatei, die jede an Ihren Webserver gerichtete Anfrage aufzeichnet. Wenn ein Nutzer Ihre Website besucht, fordert dessen Browser Dateien wie HTML, CSS und Bilder an. Wenn ein Suchmaschinen-Bot wie Googlebot eintrifft, fordert er genau diese Dateien an. Diese Interaktionen werden in Ihren Server-Logs protokolliert. Im Gegensatz zu Analysetools, die auf JavaScript-Ausführung basieren, erfassen Logfiles die absolute Realität serverseitiger Anfragen. Dies macht Logfiles zur genauesten Wahrheitsquelle, um zu verstehen, wie Suchmaschinen Ihre Website-Struktur sehen.
In einem typischen Konto stellen Sie möglicherweise fest, dass Suchmaschinen Ressourcen für margenschwache Seiten verschwenden, während sie Ihre konversionsstarken Inhalte ignorieren. Dies geschieht, wenn das Crawl-Budget durch doppelte Seiten, Suchfilter oder schwere Assets erschöpft ist. Durch die Analyse dieser Protokolle können Sie Crawl-Frequenzmuster erkennen und genau bestimmen, wo Bots stecken bleiben. Wenn Sie beispielsweise Tausende von Anfragen an einen paginierten Suchfilter sehen, der keinen Suchwert bietet, haben Sie ein Kriterium für die technische Optimierung über robots.txt oder Canonical-Tags.
So greifen Sie auf Ihre Server-Logfiles zu
Zunächst müssen Sie die Rohprotokolle aus Ihrer Hosting-Umgebung abrufen. Die meisten Hosting-Control-Panels wie cPanel oder Plesk bieten einen Bereich für Roherfolgs- oder Fehlerprotokolle. Wenn Sie ein Content Delivery Network wie Cloudflare verwenden, können Sie diese Protokolle häufig direkt aus deren Dashboard herunterladen. Für diejenigen, die dedizierte Server oder VPS nutzen, müssen Sie möglicherweise über SSH oder FTP auf diese Dateien zugreifen, die sich normalerweise in Verzeichnissen wie /var/log/apache2/ oder /var/log/nginx/ befinden.
Sobald Sie die Dateien haben, liegen sie oft in einem Rohformat vor, das schwer zu lesen ist. Sie sollten nach gängigen Log-Formaten wie dem Combined Log Format suchen. Jeder Eintrag enthält die IP-Adresse des Anfragenden, den Zeitstempel, die angeforderte URL, den HTTP-Statuscode und den User-Agent-String. Die Identifizierung des User-Agents ist von entscheidender Bedeutung, da sie bestätigt, ob es sich bei dem Besucher um einen legitimen Suchmaschinen-Bot, einen anderen automatisierten Scanner oder einen menschlichen Benutzer handelt.
Nach welchen technischen Fehlern sollten Sie in Ihren Protokollen suchen?
Bei der Prüfung dieser Dateien ist Ihr Hauptziel, Statuscodes zu finden, die Suchmaschinen daran hindern, Ihre Inhalte erfolgreich zu indexieren. Eine hohe Anzahl von 5xx-Serverfehlern zeigt an, dass Ihr Server Schwierigkeiten hat, auf Bot-Anfragen zu antworten, was zu einer verringerten Crawl-Frequenz führen kann. Wenn Suchmaschinen wiederholt auf Server-Timeouts stoßen, besuchen sie Ihre Website möglicherweise seltener, um Ihre Infrastruktur nicht stärker zu belasten. Sie sollten auch nach 404-Fehlern suchen, die anzeigen, dass der Bot defekte Links auf Ihrer Website findet.
Wichtige Statuscodes zur Überwachung
- 200 OK: Erfolgreiche Anfragen, die anzeigen, dass der Bot Ihre Inhalte erreicht.
- 301/302 Weiterleitungen: Häufige Weiterleitungen können auf eine unübersichtliche Website-Struktur hinweisen, die Bot-Zeit verschwendet.
- 404 Nicht gefunden: Diese sollten minimiert werden, um sicherzustellen, dass der Bot sein Crawl-Budget nicht für tote Seiten verschwendet.
- 5xx Serverfehler: Diese weisen auf kritische Infrastrukturprobleme hin, die behoben werden müssen, um eine gesunde Crawl-Rate aufrechtzuerhalten.
Wie können Sie Bot-Verhaltensmuster erkennen?
Die Analyse des Bot-Verhaltens beinhaltet das Filtern Ihrer Protokolldaten, um spezifische Suchmaschinen-Crawler zu isolieren. Sie sollten nach User-Agent-Strings suchen, die Begriffe wie Googlebot, Bingbot oder YandexBot enthalten. Sobald Sie diese Einträge isoliert haben, können Sie sehen, ob die Bots ihre Bemühungen auf die wichtigsten Teile Ihrer Website konzentrieren. Wenn ein großer Teil des Crawls auf Bilder, CSS- oder JavaScript-Dateien entfällt, die keine primären Inhalte enthalten, müssen Sie möglicherweise Ihre Caching- oder Ressourcenauslieferungsstrategien anpassen.
Betrachten Sie ein Szenario mit einem Shopify-Shop, der Haushaltswaren verkauft. Möglicherweise stellen Sie fest, dass die Suchmaschine 60 Prozent ihrer Zeit damit verbringt, gefilterte Kollektionsseiten zu crawlen, die von Ihren Seitenleistenfiltern erstellt wurden. Da diese Seiten oft dünne Inhalte aufweisen oder unendliche Kombinationen darstellen, wird der Bot effektiv von Ihren Produktseiten abgelenkt. Durch die Analyse dieser Frequenz können Sie überprüfen, ob Ihre robots.txt-Direktiven oder noindex-Tags von den Crawlern tatsächlich respektiert werden.
Häufige Fallstricke bei der Durchführung der Logfile-Analyse
Ein häufiger Fehler ist das Unterlassen der Verifizierung der Bot-Identität. Viele böswillige Bots oder Scraper verschleiern ihren User-Agent-String als Googlebot, um Sicherheitsfilter zu umgehen. Sie müssen eine Reverse-DNS-Abfrage für die IP-Adresse der Anfrage durchführen, um zu bestätigen, dass sie tatsächlich von einem Google-Server stammt. Ohne diese Verifizierung könnte Ihre Analyse der Crawl-Frequenz durch Rauschen von minderwertigen Scrapern oder Konkurrenten, die Ihre Website überprüfen, verzerrt werden.
Ein weiteres Problem ist das Datenvolumen. Bei größeren Websites können Logfiles innerhalb weniger Tage auf Gigabyte anwachsen. Die Verarbeitung dieser Datenmenge in einer Standard-Tabellenkalkulationsanwendung ist selten machbar. Verwenden Sie stattdessen spezielle Tools oder Befehlszeilen-Dienstprogramme, um die Daten zu filtern, bevor Sie sie in eine Analyseplattform importieren. Alien Road empfiehlt, sich auf eine repräsentative Stichprobe von Daten zu konzentrieren, wie etwa eine Woche an Protokollen, um Trends zu erkennen, ohne von der schieren Menge an Einträgen überwältigt zu werden.
So optimieren Sie Ihr Crawl-Budget
Das Crawl-Budget bezieht sich auf die Anzahl der Seiten, die eine Suchmaschine innerhalb eines bestimmten Zeitraums auf Ihrer Website crawlt. Wenn Sie eine große Website haben, möchten Sie sicherstellen, dass der Bot dieses Budget für wertvolle Seiten statt für Müll ausgibt. Nachdem Sie die Seiten identifiziert haben, auf denen der Bot die meiste Zeit verbringt, entscheiden Sie, ob diese Seiten wirklich notwendig sind. Wenn nicht, blockieren Sie sie über robots.txt oder wenden Sie Meta-Robots-noindex-Tags an, um den Bot daran zu hindern, diese Orte erneut zu besuchen.
- Konsolidieren Sie dünne Seiten, um sicherzustellen, dass der Bot Ihre hochwertigen Inhalte besucht.
- Verwenden Sie robots.txt, um den Zugriff auf unwesentliche Verzeichnisse oder Suchergebnisse zu verhindern.
- Implementieren Sie Canonical-Tags, um den Bot zur bevorzugten Version Ihrer Seiten zu leiten.
- Überwachen Sie die Serverantwortzeiten, da schnellere Seiten es dem Bot ermöglichen, mehr Inhalte in kürzerer Zeit zu crawlen.
Wo Sie diese Woche anfangen sollten
Beginnen Sie Ihre Logfile-Analyse, indem Sie genau sieben Tage Server-Logs von Ihrem Hosting-Anbieter herunterladen. Verwenden Sie einen Texteditor oder ein Logfile-Analysetool, um die Einträge nach Googlebot zu filtern. Sobald Sie diese Anfragen isoliert haben, exportieren Sie sie in ein CSV-Format, um zu zählen, wie oft jede eindeutige URL gecrawlt wurde. Suchen Sie nach den Top-50-Seiten, die gecrawlt werden, und fragen Sie sich, ob dies die Seiten sind, die tatsächlich Ihren Geschäftsumsatz antreiben. Wenn die Liste voller irrelevanter oder doppelter URLs ist, haben Sie Ihren ersten Bereich für technische SEO-Verbesserungen gefunden.
Überprüfen Sie abschließend Ihre Server-Fehlerprotokolle für denselben Zeitraum. Wenn Sie 5xx-Fehler feststellen, untersuchen Sie diese sofort mit Ihrem Entwickler- oder Hosting-Support-Team. Diese Fehler wirken sich direkt als Barriere für die Sichtbarkeit in Suchmaschinen aus. Indem Sie diese technischen Hürden beseitigen und den Crawl auf Ihre hochwertigen Inhalte konzentrieren, stellen Sie sicher, dass Ihre Website für Suchmaschinen so zugänglich und effizient wie möglich bleibt. Konsistenz ist der Schlüssel zur langfristigen Aufrechterhaltung eines gesunden Crawl-Profils.
Weiterlesen: SEO (Suchmaschinenoptimierung) · SEO