Screaming Frog SEO Spider ist eine Desktop-Softwareanwendung, die als Website-Crawler fungiert und Ihnen hilft, technische SEO-Probleme zu identifizieren. Er crawlt Ihre Website ähnlich wie eine Suchmaschine und liefert Ihnen eine Liste von URLs, Statuscodes und häufigen technischen Fehlern. Durch die Ausführung dieses Tools erhalten Sie einen klaren Überblick über Ihre Website-Architektur und deren technischen Zustand. Die Beherrschung dieses Tools ermöglicht es Ihnen, tiefgreifende Audits durchzuführen und Probleme zu beheben, bevor sie sich auf Ihre Rankings auswirken.
Wie startet man einen grundlegenden Crawl?
Um einen Crawl zu starten, müssen Sie die Software zunächst herunterladen und auf Ihrem lokalen Rechner installieren. Öffnen Sie nach der Installation die Anwendung und geben Sie Ihren Domainnamen in das Eingabefeld oben in der Benutzeroberfläche ein. Klicken Sie auf die Schaltfläche Start, um den Erkennungsprozess einzuleiten. Der Crawler beginnt, jede von Ihrer Homepage verlinkte Seite zu besuchen. Sie können den Fortschrittsbalken überwachen, der anzeigt, wie viele Seiten das Tool verarbeitet hat und wie viele noch in der Warteschlange stehen.
Während der Crawl fortschreitet, füllt sich die Benutzeroberfläche mit Daten zu jeder gefundenen URL. Sie sehen Spalten für Statuscodes, Seitentitel, Meta-Beschreibungen und Antwortzeiten. Es ist üblich, eine Mischung aus 200 OK-Status, 301-Weiterleitungen und potenziellen 4xx- oder 5xx-Fehlern zu sehen. Die Beobachtung des Crawls in Echtzeit gibt Ihnen ein unmittelbares Gefühl für den Umfang der Website und alle offensichtlichen Probleme, die während der Erkennungsphase des Bots auftreten könnten.
Welche wichtigen Kennzahlen sollten Sie überwachen?
Die Überwachung der richtigen Kennzahlen ist für die Aufrechterhaltung einer gesunden Website unerlässlich. Sie sollten sich auf Statuscodes konzentrieren, um sicherzustellen, dass alle Ihre Seiten für Benutzer und Suchmaschinen-Bots zugänglich sind. Weiterleitungsketten sind ein weiterer Bereich, der Ihre Aufmerksamkeit erfordert, da sie die Ladezeiten von Seiten verlangsamen können. Überprüfen Sie außerdem Ihre interne Verlinkungsstruktur, um sicherzustellen, dass wichtige Seiten nicht zu tief in der Website-Architektur vergraben sind.
- HTTP-Statuscodes: Suchen Sie nach 4xx (Client-Fehler) und 5xx (Server-Fehler) Codes, um defekte Links zu reparieren.
- Seitentitel: Identifizieren Sie Seiten, denen Titel fehlen oder die Titel haben, die für Suchergebnisse zu lang sind.
- Meta-Beschreibungen: Stellen Sie sicher, dass jede Seite ein einzigartiges und beschreibendes Meta-Tag hat, um die Klickraten zu verbessern.
- H1-Tags: Überprüfen Sie auf fehlende oder doppelte H1-Tags, um eine logische Seitenhierarchie beizubehalten.
- Antwortzeit: Filtern Sie nach Geschwindigkeit, um schwerfällige Seiten zu identifizieren, die sich negativ auf die Benutzererfahrung auswirken könnten.
Wie identifiziert und behebt man Crawl-Fehler?
Sobald der Crawl abgeschlossen ist, bietet die Software eine Zusammenfassungsregisterkarte, die Fehler nach Kategorien organisiert. Diese Ansicht ist unglaublich nützlich, um Ihre Arbeit zu priorisieren. Sie könnten beispielsweise damit beginnen, 404-Fehler zu beheben, da diese defekte Links darstellen, die Benutzer in eine Sackgasse führen. Als Nächstes können Sie 301-Weiterleitungen untersuchen, um zu sehen, ob sie notwendig sind oder ob Sie die internen Links aktualisieren können, um direkt auf die Zielseite zu verweisen, was Crawl-Budget spart.
Ein weiteres häufiges Problem sind verwaiste Seiten. Dies sind Seiten, die auf Ihrem Server existieren, aber nirgendwo auf Ihrer Website verlinkt sind. Ohne interne Links haben Suchmaschinen oft Schwierigkeiten, diese Seiten zu finden. Sie können die Liste der vom Crawler gefundenen URLs mit einer Liste Ihrer bekannten URLs aus einer XML-Sitemap vergleichen, um diese versteckten Seiten zu identifizieren. Sobald sie identifiziert sind, sollten Sie entweder Links zu ihnen hinzufügen oder sie entfernen, wenn sie keinen Zweck erfüllen.
Vergleich von Audit-Tools
| Funktion | Screaming Frog | Online-Crawler |
|---|---|---|
| Lokale Verarbeitung | Hohe Leistung | Browser-begrenzt |
| Einrichtungszeit | Software-Installation | Sofortiger Zugriff |
| Anpassung | Hohe Kontrolle | Begrenzte Optionen |
Warum sollten Sie Konfigurationseinstellungen verwenden?
Die Standardeinstellungen der Software sind hervorragend für allgemeine Audits, aber fortgeschrittene Benutzer passen die Konfigurationen oft an spezifische Bedürfnisse an. Sie können das Tool so konfigurieren, dass bestimmte Parameter oder Subdomains ignoriert werden, was hilft, den Crawl fokussiert zu halten. Wenn Ihre Website beispielsweise eine große Suchfunktion hat, die Tausende von eindeutigen URLs generiert, können Sie diese Muster ausschließen, um zu verhindern, dass der Crawler in einer Endlosschleife stecken bleibt. Dies macht Ihr Audit viel effizienter.
Sie können auch die Geschwindigkeit des Crawls im Konfigurationsmenü anpassen. Wenn Sie eine große E-Commerce-Website auf einem gemeinsam genutzten Server crawlen, möchten Sie möglicherweise die Crawl-Geschwindigkeit reduzieren, um den Server nicht zu stark zu belasten. Umgekehrt, wenn Sie einen Hochleistungsserver haben, können Sie die Thread-Anzahl erhöhen, um das Audit in kürzerer Zeit abzuschließen. Überprüfen Sie immer Ihre Serverprotokolle während eines Test-Crawls, wenn Sie Bedenken hinsichtlich der Belastung haben.
Wie Alien Road dieses Tool anwendet
Bei Alien Road verwenden wir diese Software, um eine Basislinie für jedes neue Kundenprojekt zu erstellen. Unser Prozess beginnt mit einem vollständigen Website-Crawl, um unmittelbare technische Blocker zu identifizieren. Wir priorisieren Probleme basierend auf ihrer potenziellen Auswirkung auf die Suchmaschinenleistung. Zum Beispiel stellen wir oft fest, dass die interne Verlinkungsstruktur einer Website die wichtigsten Serviceseiten nicht hervorhebt. Durch die Nutzung der Visualisierungsfunktion in der Software können wir die Klicktiefe dieser Seiten abbilden und Änderungen an der Website-Architektur empfehlen.
Nach dem ersten Audit integrieren wir die exportierten Daten in unsere Reporting-Dashboards für den Kunden. Dies ermöglicht es uns, den Fortschritt über mehrere Monate hinweg zu verfolgen. Wir führen normalerweise vierteljährlich Folge-Crawls durch, um sicherzustellen, dass neue Inhaltszusätze keine neuen technischen Fehler eingeführt haben. Dieser proaktive Ansatz stellt sicher, dass die Websites unserer Kunden bei Suchmaschinen in gutem Ansehen bleiben und gleichzeitig eine konsistente Erfahrung für ihre Besucher bieten.
Wo man diese Woche anfangen sollte
- Laden Sie die kostenlose Version herunter und führen Sie einen Crawl auf Ihrer eigenen Domain durch, um den ersten Bericht zu sehen.
- Überprüfen Sie die Registerkarte ‘Statuscodes’, um 404-Fehler zu finden, die weitergeleitet werden müssen.
- Exportieren Sie die Liste der fehlenden Meta-Beschreibungen und beauftragen Sie einen Autor mit deren Erstellung.
- Überprüfen Sie Ihre XML-Sitemap anhand der Crawl-Ergebnisse, um sicherzustellen, dass alle Seiten enthalten sind.
- Planen Sie eine monatliche Audit-Sitzung, um die Gesundheit Ihrer Website im Laufe der Zeit zu erhalten.
Häufig gestellte Fragen
Ist die kostenlose Version für kleine Websites ausreichend?
Ja, die kostenlose Version ist für kleine Websites durchaus fähig, da sie es Ihnen ermöglicht, bis zu 500 URLs zu crawlen. Dies ist normalerweise ausreichend für Blogs, kleine Unternehmenswebsites oder Landingpages. Sie bietet Zugriff auf die meisten Kernfunktionen, einschließlich Statuscode-Prüfungen und grundlegender Tag-Analyse, was für den Einstieg in technisches SEO ohne sofortige Investition ausreicht.
Wie gehe ich mit großen Website-Crawls um?
Für große Websites sollten Sie eine kostenpflichtige Lizenz in Betracht ziehen, um das 500-URL-Limit aufzuheben. Darüber hinaus sollten Sie die Konfigurationseinstellungen verwenden, um sich jeweils auf bestimmte Bereiche der Website zu konzentrieren. Dieser Ansatz verhindert Speicherprobleme auf Ihrem Computer und ermöglicht es Ihnen, die Daten in kleineren, besser handhabbaren Chargen zu verwalten, anstatt zu versuchen, Tausende von Zeilen auf einmal zu analysieren.
Beeinträchtigt der Crawler die Leistung meiner Live-Website?
Ein Crawl verhält sich wie ein normaler Benutzer, der Ihre Website besucht. Obwohl er Verkehr erzeugt, ist es unwahrscheinlich, dass er die Leistung Ihrer Website beeinträchtigt, es sei denn, Ihr Server ist bereits unterdimensioniert oder an seiner Kapazitätsgrenze. Wenn Sie Bedenken haben, können Sie die Crawl-Geschwindigkeit in den Konfigurationseinstellungen konservativer einstellen. Dies stellt sicher, dass die Last innerhalb sicherer Grenzen für Ihre Hosting-Umgebung bleibt.
Kann ich Daten für Kundenberichte exportieren?
Ja, das Tool ermöglicht es Ihnen, fast jede Tabelle oder jeden Bericht in CSV- oder Excel-Formate zu exportieren. Dies ist Standardpraxis für die Erstellung professioneller Berichte für Stakeholder. Sie können die Rohdaten nehmen, sie filtern, um nur die kritischsten Probleme anzuzeigen, und Ihrem Team oder Ihren Kunden eine saubere Liste von Aufgaben präsentieren. Es ist ein sehr effektiver Weg, um technische Erkenntnisse zu kommunizieren.
Weiterlesen: SEO (Suchmaschinenoptimierung) · SEO