Screaming Frog ist ein Website-Crawler, der Ihnen hilft, die Onsite-SEO zu verbessern, indem er Daten extrahiert und auf häufige SEO-Probleme wie defekte Links und Redirect-Ketten prüft. Diese Desktop-Anwendung fungiert als Brücke zwischen Ihrem lokalen Rechner und dem Server einer Website und bietet eine detaillierte Ansicht darüber, wie Suchmaschinen-Bots die Struktur und den Inhalt Ihrer Website interpretieren. Durch die Nutzung dieses Tools können SEO-Praktiker schnell technische Barrieren identifizieren, die eine effiziente Indexierung und Platzierung in den Suchergebnissen verhindern.
Einrichten Ihres ersten Crawls in Screaming Frog
Um mit Ihrem technischen Audit zu beginnen, müssen Sie die Software zunächst für den spezifischen Umfang Ihrer Website konfigurieren. Nach der Installation ist der Standardmodus der Spider-Modus, der es Ihnen ermöglicht, eine Root-URL einzugeben und die Software jedem internen Link folgen zu lassen, den sie findet. Für eine typische E-Commerce-Seite mit Tausenden von Produktseiten sollten Sie zuerst Ihre Speichereinstellungen überprüfen. Navigieren Sie zu Configuration > System > Memory, um sicherzustellen, dass die Software genügend RAM nutzen kann, um die Crawl-Daten zu speichern, ohne abzustürzen. Die meisten modernen Computer können 4 GB bis 8 GB für mittelgroße Websites verarbeiten, aber größere Domains erfordern möglicherweise 16 GB oder mehr, um den Prozess abzuschließen.
Sobald Ihr Speicher zugewiesen ist, geben Sie Ihre Website-Adresse in das Feld ‘Enter URL to spider’ oben in der Benutzeroberfläche ein. Bevor Sie auf Start klicken, ist es üblich, die Spider-Konfiguration unter dem Menü Configuration zu überprüfen. Hier können Sie entscheiden, ob Sie Bilder, CSS- und JavaScript-Dateien crawlen möchten. Während das Crawlen dieser Assets ein vollständigeres Bild des Seitenladevorgangs liefert, erhöht es auch die für den Crawl erforderliche Zeit und den Speicherbedarf. Wenn Ihr Ziel eine schnelle Überprüfung von Statuscodes und Titeln ist, können Sie diese deaktivieren, um die anfängliche Datenerfassungsphase zu beschleunigen.
Wie konfiguriert man den Spider für einen vollständigen Crawl?
Ein vollständiges technisches Audit erfordert, dass der Spider über einfache HTML-Links hinausblickt. Im Menü Configuration > Spider sollten Sie die Option ‘Crawl All Subdomains’ aktivieren, wenn Ihre Website verschiedene Präfixe wie ‘blog.example.com’ oder ‘shop.example.com’ verwendet. Dies stellt sicher, dass der Spider nicht an der primären Domain-Grenze stoppt. Zusätzlich sollten Sie das Feld ‘Crawl Outside Start Folder’ aktivieren, wenn Sie den Crawl von einem bestimmten Unterordner aus starten, aber sehen möchten, wie er mit dem Rest der Architektur der Website verbunden ist. Diese Einstellungen sind grundlegend, um den vollständigen Umfang der internen Verlinkung einer Domain zu erfassen.
Eine weitere erweiterte Einstellung betrifft das JavaScript-Rendering. Viele moderne Websites, die auf Frameworks wie React oder Angular basieren, zeigen Inhalte erst an, wenn JavaScript ausgeführt wird. Wenn Sie diese Seiten im Standardmodus ‘Text Only’ crawlen, sieht der Spider eine leere Seite. Um dies zu beheben, gehen Sie zu Configuration > Spider > Rendering und wählen Sie ‘JavaScript’ aus dem Dropdown-Menü. Dies weist Screaming Frog an, einen integrierten Chrome-Browser zum Rendern der Seiten zu verwenden, wodurch Links und Inhalte gefunden werden können, die sonst für einen einfachen Crawler verborgen blieben. Dies ist oft der Unterschied zwischen einem erfolgreichen und einem fehlgeschlagenen Audit für moderne Webanwendungen.
Identifizierung von defekten Links und Redirect-Problemen
Eine der Hauptanwendungen dieser Software ist die Identifizierung von 404-Fehlern und Redirect-Ketten. Sobald der Crawl abgeschlossen ist, oder sogar während er läuft, können Sie auf den Tab ‘Response Codes’ klicken, um eine Liste jeder URL und ihres Status zu sehen. Das Filtern nach ‘Client Error (4xx)’ zeigt Ihnen sofort jeden defekten Link auf der Website. Das Sehen der defekten URL ist jedoch nur die halbe Miete; Sie müssen wissen, wo sich diese Links befinden. Durch Auswahl einer 404-URL im oberen Fenster und Klicken auf den Tab ‘Inlinks’ unten zeigt die Software jede Seite an, die auf diese defekte Ressource verlinkt, was das Auffinden und Aktualisieren des Quellcodes erleichtert.
Redirect-Ketten sind ein weiteres häufiges Problem, das sowohl die Benutzererfahrung als auch die Crawl-Effizienz beeinträchtigt. Eine Redirect-Kette tritt auf, wenn URL A auf URL B verweist, die dann auf URL C verweist. Dies erzeugt unnötige Latenz und verbraucht mehr Crawl-Budget. Um diese zu finden, gehen Sie nach Abschluss Ihres Crawls zu Reports > Redirects > Redirect Chains. Dieser Bericht bietet eine klare Karte jedes ‘Hops’ in einer Redirect-Sequenz. Bei Alien Road empfehlen wir, diese zu lösen, indem der ursprüngliche Link direkt auf das endgültige Ziel aktualisiert wird, was den Pfad sowohl für Benutzer als auch für Suchmaschinen-Crawler vereinfacht.
Was sind die häufigsten Metadaten-Fehler, die man finden kann?
- Doppelte Seitentitel, die Suchmaschinen darüber verwirren, welche Seite am relevantesten ist.
- Fehlende Meta-Beschreibungen, die zu automatisch generierten Snippets in den Suchergebnissen führen.
- Seitentitel mit mehr als 60 Zeichen oder 568 Pixeln, die in den SERPs abgeschnitten werden.
- Mehrere H1-Tags auf einer einzigen Seite, die den primären thematischen Fokus verwässern können.
- Fehlender Alt-Text bei Bildern, was die Barrierefreiheit und das Potenzial für die Bildersuche verringert.
Die Tabs ‘Page Titles’ und ‘Meta Description’ in der Software sind darauf ausgelegt, diese Probleme durch integrierte Filter hervorzuheben. Zum Beispiel können Sie den Filter ‘Over 60 Characters’ im Tab Page Titles verwenden, um jede Seite zu identifizieren, bei der Ihr Titel in den Google-Suchergebnissen abgeschnitten werden könnte. Ähnlich hilft der Filter ‘Duplicate’, Instanzen zu identifizieren, in denen Sie versehentlich denselben Titel für verschiedene Produktvarianten verwendet haben könnten. Die Behebung dieser Metadaten-Probleme ist eine Aufgabe mit hoher Priorität, da sie direkt die Klickrate von Suchmaschinen auf Ihre Website beeinflusst.
Analyse der Seitenarchitektur und Crawl-Tiefe
Die Crawl-Tiefe bezieht sich auf die Anzahl der Klicks, die erforderlich sind, um eine Seite von der Startseite aus zu erreichen. Im Tab ‘Internal’ liefert die Spalte ‘Crawl Depth’ diese Daten für jede URL. Im Allgemeinen sollten wichtige Inhalte innerhalb von drei Klicks oder weniger erreichbar sein. Wenn Sie feststellen, dass kritische Conversion-Seiten eine Crawl-Tiefe von fünf oder sechs haben, deutet dies auf eine schlechte interne Verlinkungsstruktur hin. Dies kann dazu führen, dass diese Seiten seltener gecrawlt werden oder von Suchmaschinen-Algorithmen als weniger wichtig wahrgenommen werden. Sie können den Tab ‘Site Structure’ im rechten Fenster verwenden, um eine visuelle Aufschlüsselung zu sehen, wie Ihre Seiten über verschiedene Ebenen der Website verteilt sind.
Visualisierungen sind auch eine wirkungsvolle Möglichkeit, architektonische Probleme gegenüber Stakeholdern zu erklären. Unter dem Menü ‘Visualisations’ können Sie ‘Crawl Tree Graph’ oder ‘Force-Directed Directory Tree Diagram’ wählen. Diese interaktiven Karten zeigen die Beziehungen zwischen Ordnern und Seiten. Ein unordentliches oder übermäßig komplexes Diagramm weist oft auf einen Mangel an logischer Kategorisierung hin. Wenn beispielsweise ein Blogbeitrag unter fünf Unterverzeichnissen vergraben ist, zeigt die Visualisierung einen langen, dünnen Zweig, der sich vom Zentrum weg erstreckt. Dieser visuelle Beweis ist oft überzeugender als eine Tabelle, wenn es darum geht, eine Überarbeitung der Seitenstruktur zu empfehlen.
Wie können Sie Screaming Frog für eine Website-Migration nutzen?
Während einer Website-Migration ist die Sicherstellung, dass alte URLs korrekt auf neue umgeleitet werden, die wichtigste Aufgabe zur Aufrechterhaltung der SEO-Rankings. Sie können den ‘List Mode’ in Screaming Frog verwenden, um Ihre Redirect-Map zu testen. Anstatt eine Live-Seite zu crawlen, ändern Sie den Modus unter dem Menü Mode auf ‘List’ und laden Sie eine Textdatei oder CSV hoch, die Ihre alten URLs enthält. Bevor Sie den Crawl starten, gehen Sie zu Configuration > Spider > Advanced und stellen Sie sicher, dass ‘Always Follow Redirects’ aktiviert ist. Sobald Sie den Crawl ausführen, zeigt Ihnen die Software das endgültige Ziel für jede alte URL und den Statuscode, der auf dem Weg dorthin angetroffen wurde.
Dieser Prozess ermöglicht es Ihnen, Hunderte von Redirects in Sekundenschnelle zu überprüfen. Sie können die Spalte ‘Address’ (die alte URL) mit der Spalte ‘Redirect URL’ (die neue URL) vergleichen, um sicherzustellen, dass sie mit Ihrer beabsichtigten Redirect-Map übereinstimmen. Wenn Sie 404-Fehler in der Liste sehen, bedeutet dies, dass der Redirect nicht korrekt implementiert wurde oder die Zielseite fehlt. Diese proaktive Prüfung verhindert den Verlust von organischem Traffic, der normalerweise auftritt, wenn eine Migration ohne gründliche technische Überprüfung durchgeführt wird. Es ist ein Standardverfahren für jede Agentur, die einen Domain-Wechsel oder eine größere Änderung der URL-Struktur verwaltet.
Integration von API-Daten für umfassende Audits
Screaming Frog wird noch effektiver, wenn Sie es mit externen Datenquellen verbinden. Durch Navigieren zu Configuration > API Access können Sie die Software mit Google Analytics, Google Search Console und PageSpeed Insights verknüpfen. Dies ermöglicht es Ihnen, Crawl-Daten neben Leistungsmetriken zu sehen. Zum Beispiel können Sie Seiten identifizieren, die eine hohe Crawl-Tiefe haben, aber auch eine signifikante Menge an organischem Traffic aus der Search Console erhalten. Dies sind erstklassige Kandidaten für eine bessere interne Verlinkung, da sie bereits gut funktionieren, obwohl sie in der Seitenarchitektur vergraben sind.
Das Verbinden der PageSpeed Insights API ist besonders nützlich für die Prüfung von Core Web Vitals. Die Software ruft Metriken wie Largest Contentful Paint (LCP) und Cumulative Layout Shift (CLS) für jede URL in Ihrem Crawl ab. Anstatt Seiten einzeln in einem Browser zu überprüfen, erhalten Sie einen Massenbericht, der zeigt, welche Abschnitte Ihrer Website den 2,5-Sekunden-LCP-Schwellenwert nicht erfüllen. Dieser datengesteuerte Ansatz ermöglicht es Ihnen, technische Korrekturen für die spezifischen Vorlagen oder Seitentypen zu priorisieren, die Ihre allgemeine Website-Leistung und die Werte für die Benutzererfahrung nach unten ziehen.
Benutzerdefinierte Extraktion für spezifische Datenanforderungen
Manchmal müssen Sie Daten prüfen, die nicht Teil der Standard-SEO-Tags sind, wie Lagerstatus, Preis oder Autorennamen. Die Funktion Custom Extraction ermöglicht es Ihnen, XPath, CSS Path oder Regex zu verwenden, um spezifischen Text aus dem HTML Ihrer Seiten zu ziehen. Wenn Sie beispielsweise sicherstellen möchten, dass alle Blogbeiträge ein spezifisches Autoren-Markup haben, können Sie die CSS-Klasse identifizieren, die für den Autorennamen verwendet wird, und einen Extraktor unter Configuration > Custom > Extraction einrichten. Während des Crawls erstellt die Software eine neue Spalte für diese Daten, sodass Sie auf einen Blick sehen können, welchen Seiten Informationen fehlen.
Dies ist auch hilfreich für die Prüfung der Implementierung strukturierter Daten. Während es einen dedizierten Tab für strukturierte Daten gibt, kann die benutzerdefinierte Extraktion verwendet werden, um doppelt zu prüfen, ob spezifische Werte innerhalb Ihres Schema.org-Markups über Tausende von Seiten hinweg korrekt sind. Wenn eine E-Commerce-Seite ein ‘Price’-Feld in ihrem JSON-LD hat, können Sie diesen Wert extrahieren und mit dem sichtbaren Preis auf der Seite vergleichen, um Konsistenz sicherzustellen. Dieser Detaillierungsgrad hilft, Probleme mit dem Google Merchant Center oder Rich-Snippet-Anzeigen zu vermeiden, die auf genauen und konsistenten Daten über die gesamte Domain hinweg basieren.
Wo Sie diese Woche anfangen sollten
- Laden Sie die kostenlose Version herunter oder lizenzieren Sie die Vollversion von Screaming Frog und führen Sie einen grundlegenden Crawl Ihrer Domain durch.
- Überprüfen Sie den Tab ‘Response Codes’ und exportieren Sie alle 4xx-Fehler, um defekte Links zu identifizieren, die sofort behoben werden müssen.
- Navigieren Sie zum Tab ‘Page Titles’ und filtern Sie nach Duplikaten, um interne Konkurrenz zwischen ähnlichen Seiten zu lösen.
- Verbinden Sie die Google Search Console API, um Seiten zu identifizieren, die indexiert sind, aber in den letzten 90 Tagen null Klicks erhalten haben.
- Verwenden Sie die Funktion ‘Crawl Analysis’ unter dem Menü ‘Crawl Analysis’, um den Link-Score und den internen PageRank zu berechnen.
Indem Sie diese Schritte befolgen, gelangen Sie von einem oberflächlichen Verständnis Ihrer Website zu einem tiefen technischen Wissen darüber, wie sie funktioniert. Regelmäßiges Crawlen ist eine Gewohnheit, die sicherstellt, dass kleine Fehler nicht zu großen Indexierungsproblemen heranwachsen. Beginnen Sie mit den kritischsten Fehlern – defekte Links und Redirect-Schleifen –, bevor Sie zu komplexeren Optimierungen wie Seitenarchitektur und Core Web Vitals-Verbesserungen übergehen.
Weiterlesen: SEO (Suchmaschinenoptimierung) · SEO