Die Serverprotokollanalyse identifiziert, ob der Googlebot Ihre Website hauptsächlich über seinen mobilen oder Desktop-User-Agent besucht. Durch die Untersuchung der auf Ihrem Webserver gespeicherten Anfrageprotokolle können Sie zwischen diesen beiden Crawlertypen unterscheiden. Dieser Prozess hilft Ihnen zu verstehen, wie Suchmaschinen mit Ihren Inhalten interagieren, und zu überprüfen, ob Ihre Serverkonfiguration moderne Indexierungsanforderungen unterstützt.
Die Verfolgung dieser Anfragen bietet ein klares Bild davon, wie Google Ihre Website-Struktur interpretiert. Wenn Sie zwischen mobilen und Desktop-Zugriffen unterscheiden, decken Sie potenzielle Diskrepanzen in der Art und Weise auf, wie Ihre Seiten gerendert werden. Diese Sichtbarkeit ist entscheidend für die Aufrechterhaltung einer gesunden Beziehung zu Suchmaschinen, da sie verhindert, dass technische Versäumnisse Ihre Sichtbarkeit beeinträchtigen.
Welche Rolle spielen Serverprotokolle bei SEO?
Ihr Webserver führt eine Aufzeichnung jeder Anfrage, die an Ihre Website gestellt wird, einschließlich derer vom Googlebot. Diese Protokolle enthalten die IP-Adresse, die Zeit der Anfrage, den HTTP-Statuscode und den User-Agent-String. Durch das Parsen dieser Informationen sehen Sie genau, auf welche Seiten der Googlebot zugegriffen hat und wie oft er zu Ihrer Website zurückkehrt.
Ohne Protokollanalyse fliegen Sie im Wesentlichen blind, was die Erfahrung des Crawlers mit Ihrer Website betrifft. Standard-Analysetools erfassen nur benutzerseitige Ereignisse und verpassen oft serverseitige Bot-Aktivitäten. Durch die Überprüfung der rohen Serverprotokolle erhalten Sie Zugriff auf die Rohdaten, die die Perspektive der Suchmaschine auf Ihre digitalen Assets definieren.
Ein plötzlicher Anstieg von 5xx-Statuscodes in Ihren Protokollen könnte beispielsweise signalisieren, dass Ihr Server Schwierigkeiten hat, gleichzeitige Anfragen zu verarbeiten. Dies schafft einen Engpass, der den Googlebot daran hindert, neue Updates zu indexieren. Mithilfe von Protokolldaten können Sie den genauen Zeitpunkt dieser Probleme bestimmen und sie mit Serverlast oder Bereitstellungsänderungen korrelieren.
Wie man mobilen vs. Desktop Googlebot identifiziert
Der User-Agent-String ist die primäre Methode zur Identifizierung des Crawlertyps. Sie sollten nach bestimmten Token in Ihren Protokollen suchen, um zwischen den Versionen zu unterscheiden. Die Identifizierung des User-Agents hilft Ihnen festzustellen, ob Google die Mobile-First-Indexierung für Ihre Domain priorisiert.
- Suchen Sie nach ‘Googlebot/2.1’, was normalerweise die Desktop-Version des Crawlers bezeichnet.
- Suchen Sie nach ‘Googlebot-Mobile’ oder dem Chrome-basierten mobilen User-Agent-String für mobile Anfragen.
- Überprüfen Sie die IP-Adresse mithilfe einer Reverse-DNS-Suche, um zu bestätigen, dass die Anfrage von einem verifizierten Googlebot-Server stammt.
- Prüfen Sie auf das Fehlen von User-Agent-Strings, was auf bösartige oder gefälschte Bots hinweisen kann, die versuchen, Ihre Inhalte zu scrapen.
Sobald Sie diese Strings isoliert haben, können Sie das Volumen der Anfragen zwischen den beiden Versionen vergleichen. Wenn Ihre Website mobilfreundlich ist, aber ein unverhältnismäßiges Maß an Desktop-Crawling-Aktivität zeigt, müssen Sie möglicherweise Ihre robots.txt oder Website-Architektur untersuchen. Sicherzustellen, dass der mobile Crawler der primäre Besucher ist, ist ein Standardziel für moderne Websites.
Warum sollten Sie das Crawler-Verhalten überwachen?
Die Überwachung ermöglicht es Ihnen, Crawling-Fallen oder ineffiziente Anfragemuster zu erkennen. Wenn Ihre Website ein hohes Volumen an Anfragen für unwichtige Seiten erhält, verschwenden Sie möglicherweise Ihr Crawling-Budget. Der Googlebot priorisiert Seiten basierend auf Website-Qualität und Wichtigkeit, aber technische Probleme können diesen Prozess blockieren.
Eine Sitemap ist ein wichtiger Weg für Google, URLs auf Ihrer Website zu entdecken.
Google Search Central
Effektive Überwachung hebt auch hervor, wie oft Google Ihre Website besucht. Eine stabile Crawling-Frequenz ist ein gutes Zeichen, während extreme Schwankungen darauf hindeuten könnten, dass Ihr Server entweder inkonsistente Antworten liefert oder dass Ihre Website-Struktur zu komplex ist. Die regelmäßige Überprüfung dieser Protokolle hilft Ihnen, diese Verschiebungen zu erkennen, bevor sie Ihre Suchrankings beeinflussen.
Wie Alien Road diesen Prozess anwendet
Bei Alien Road beginnen wir mit der Extraktion roher Protokolle aus der Serverumgebung, wie z. B. Apache- oder Nginx-Zugriffsdateien. Wir filtern diese Protokolle, um den Verkehr von bekannten Googlebot-IP-Bereichen zu isolieren. Dann klassifizieren wir die Anfragen in mobile und Desktop-Kategorien, um die Crawling-Verteilung für unsere Kunden zu bewerten.
- Datenextraktion: Sammeln der letzten 30 Tage an Serverprotokollen für einen umfassenden Überblick.
- Filterung: Entfernen von internem Verkehr, administrativem Zugriff und Nicht-Bot-Anfragen, um den Googlebot zu isolieren.
- Kategorisierung: Gruppierung von Anfragen nach User-Agent, um Ungleichgewichte zwischen mobilem und Desktop-Zugriff zu finden.
- Berichterstattung: Identifizierung von häufig aufgerufenen Seiten, die kein häufiges erneutes Crawling benötigen, im Vergleich zu solchen, die ignoriert werden.
Dieser systematische Ansatz ermöglicht es uns, konkrete Empfehlungen zu geben. Wenn wir beispielsweise feststellen, dass der Crawler in einer Schleife von facettierten Navigationsparametern feststeckt, schlagen wir Kanonisierung oder robots.txt-Direktiven vor. Unser Ziel ist es sicherzustellen, dass der Crawler sein Budget für Ihre wertvollsten Seiten ausgibt und nicht für repetitive gefilterte Ansichten.
Wie kann Protokollanalyse Indexierungsprobleme lösen?
Die Protokollanalyse zeigt genau, warum eine Seite möglicherweise nicht indexiert wird. Wenn das Protokoll zeigt, dass der Googlebot eine Seite angefordert hat und einen 404- oder 503-Fehler erhalten hat, haben Sie eine direkte Erklärung für das Indexierungsversagen. Dies ist viel genauer, als sich auf Vermutungen darüber zu verlassen, warum Inhalte in den Suchergebnissen fehlen.
Darüber hinaus kann die Analyse der Zeit zwischen Anfragen zeigen, ob die Crawling-Verzögerungseinstellung Ihres Servers zu restriktiv ist. Wenn Sie eine lange Verzögerung eingestellt haben, wird der Googlebot seltener besuchen, was für Websites mit häufigen Updates nachteilig ist. Durch die Anpassung basierend auf Protokolldaten können Sie häufigere Besuche des Crawlers fördern.
Wo man diese Woche anfangen sollte
Beginnen Sie damit, ein Beispiel Ihrer Serverprotokolle bei Ihrem Hosting-Anbieter oder Serveradministrator anzufordern. Öffnen Sie die Datei in einem Tabellenkalkulationsprogramm oder verwenden Sie ein Protokollanalyseskript, um die Anzahl der Treffer vom Googlebot zu zählen. Sobald Sie die Daten haben, vergleichen Sie das Anfragevolumen mit Ihren wichtigsten Seiten, um zu sehen, ob der Crawler Zeit dort verbringt, wo es am wichtigsten ist.
Beginnen Sie mit einer 7-Tage-Untermenge Ihrer Protokolle, um die Daten handhabbar zu machen. Identifizieren Sie die Top-50-Seiten, die die meisten Treffer erhalten, und prüfen Sie, ob dies tatsächlich die Seiten sind, für die Sie ranken möchten. Wenn Sie sehen, dass Junk-Seiten – wie Suchergebnisse oder Warenkorbseiten – die Spitzenplätze einnehmen, ist es an der Zeit, Ihre robots.txt-Datei zu verfeinern, um diese Aufmerksamkeit auf Ihre primären Inhalte umzuleiten.