Ein Screaming Frog-Audit-Leitfaden bietet eine strukturierte Methodik zum Crawlen von Websites, um technische SEO-Fehler, Indexierbarkeitsprobleme und Mängel bei Metadaten zu identifizieren. Durch den Einsatz der Desktop-Anwendung Screaming Frog SEO Spider extrahieren Suchspezialisten kritische Daten auf URL-Ebene, einschließlich Antwortcodes, kanonischer Tags, Überschriftenstruktur und Seitenleistungsmetriken. Die Durchführung eines Crawls ermöglicht es Teams, Probleme mit der Website-Architektur systematisch zu diagnostizieren, bevor Suchmaschinen-Bots die Leistung bestrafen oder das Crawl-Budget verschwenden.
Vor dem Start eines Website-Crawls bestimmt die richtige Konfiguration in Screaming Frog die Genauigkeit und Tiefe Ihrer Auditergebnisse. Öffnen Sie Konfiguration > Spider, um die Crawl-Einstellungen basierend auf Ihrer Website-Architektur und Serverkapazität anzupassen. Legen Sie für große E-Commerce-Plattformen mit Millionen von Parametern unter Konfiguration > Ausschließen Ausschlussregeln fest, um Endlosschleifen beim Spidern wie Sortierparameter oder Kalenderfilter zu verhindern. Die Anpassung des Geschwindigkeitslimits unter Konfiguration > Geschwindigkeit schützt kleine gemeinsam genutzte Server vor Abstürzen während intensiver Anforderungszyklen, indem eine Basislinie von 2 bis 5 Anforderungen pro Sekunde für Standardumgebungen festgelegt wird.
Moderne Websites verlassen sich stark auf clientseitiges JavaScript-Rendering, was benutzerdefinierte Spider-Einstellungen erfordert, um eine vollständige Inhaltsermittlung sicherzustellen. Wechseln Sie unter Konfiguration > Spider > Rendering vom Standardmodus „Nur Text“ zum JavaScript-Rendering, wenn Ihre Website Frameworks wie React, Vue oder Angular verwendet. Screaming Frog führt den clientseitigen Code mithilfe einer eingebetteten Chrome-Instanz aus, sodass Sie interne Links entdecken können, die nach dem Laden des DOM aufgefüllt werden. Denken Sie daran, ein Rendering-Timeout zwischen 2 und 5 Sekunden festzulegen, damit langsam ladende Skripte das Seiten-Parsing nicht vorzeitig beenden.
Einrichten Ihres Screaming Frog Spider für einen vollständigen Crawl
Um mit dem Audit zu beginnen, geben Sie Ihre Domain-URL in die obere Adressleiste ein und wählen Sie die Start-Schaltfläche. Für Standard-Domains unter 500 Seiten bietet die kostenlose Standardversion von Screaming Frog ausreichende Kapazität, aber Unternehmensseiten benötigen eine kostenpflichtige Lizenz, um das Crawl-Limit aufzuheben und auf erweiterte Funktionen wie benutzerdefinierte Extraktion und API-Integrationen zuzugreifen. Stellen Sie sicher, dass Ihre Crawl-Einstellungen die robots.txt-Anweisungen respektieren, es sei denn, Ihr spezifisches Ziel ist es, versteckte oder blockierte Ressourcenpfade während Staging-Audits zu analysieren.
Die Speicherzuweisung ist eine weitere kritische technische Einstellung bei der Arbeit mit Unternehmenswebsites, die über 100.000 URLs enthalten. Greifen Sie auf Hilfe > Benutzeroberfläche > Speicherzuweisung zu, um der Anwendung zusätzlichen RAM zuzuweisen und Desktop-Abstürze bei großen Analyseaufträgen zu verhindern. Durch das Umschalten des Speichermodus von RAM auf Datenbankmodus unter Konfiguration > System > Speichermodus kann Screaming Frog Crawl-Daten direkt auf Ihrem Solid-State-Laufwerk speichern, was eine reibungslose Handhabung von Crawls mit mehreren Millionen URLs ermöglicht.
Was sind die ersten technischen Probleme, die Sie überprüfen sollten?
Wenn Ihr Crawl abgeschlossen ist, bietet das Übersichtspanel auf der rechten Seite eine Zusammenfassung Ihrer Domain-Gesundheit auf hoher Ebene. Beginnen Sie Ihr Audit, indem Sie die Antwortcodes unter der Registerkarte Antwortcodes überprüfen und speziell nach 4xx-Client-Fehlern und 5xx-Server-Fehlern filtern. Ein hohes Volumen an 404-Fehlern verschlechtert die Benutzererfahrung und signalisiert Suchmaschinen-Crawlern eine schlechte Website-Wartung. Exportieren Sie den 4xx-Bericht direkt in eine CSV-Datei und vergleichen Sie diese URLs mit Ihrer XML-Sitemap, um nicht existierende Seiten sofort aus Ihren Indexierungsrichtlinien zu entfernen.
Der Indexierbarkeitsstatus stellt eine weitere Diagnosemetrik mit höchster Priorität während der anfänglichen Bewertungsphase dar. Navigieren Sie zur Registerkarte Intern und filtern Sie nach Nicht indexierbar, um Seiten zu identifizieren, die durch robots.txt, noindex-Meta-Tags oder kanonische Tags, die anderswohin zeigen, blockiert sind. Webmaster lassen nach größeren Website-Migrationen oder Design-Updates häufig temporäre noindex-Anweisungen aktiv, wodurch umsatzgenerierende Seiten versehentlich vor Google verborgen werden. Die Überprüfung, dass wichtige Landingpages den Status Indexierbar beibehalten, verhindert katastrophale Einbrüche des organischen Suchverkehrs über Kernproduktkategorien hinweg.
- Überprüfen Sie HTTP-Statuscodes, um 404 defekte Seiten, 301 permanente Weiterleitungen und 500 interne Serverfehler zu isolieren.
- Bewerten Sie robots.txt-Konfigurationen, um zu bestätigen, dass kritische CSS- und JavaScript-Dateien für Crawler zugänglich sind.
- Filtern Sie nach Soft-404-Seiten, bei denen Serverantworten trotz fehlender Inhalte 200 OK zurückgeben.
- Überprüfen Sie kanonische Tags, um sicherzustellen, dass parametergesteuerte URLs auf saubere Ziel-Kanonicals verweisen.
- Identifizieren Sie verwaiste Seiten, indem Sie Crawl-Ergebnisse mit aktiven XML-Sitemap-Indexlisten abgleichen.
Wie finden Sie defekte Links und Weiterleitungsketten?
Defekte interne Links stören den Crawler-Fluss und verhindern die Verteilung des Seitenrangs über Ihre Domain-Taxonomie. Um interne defekte Links in Screaming Frog zu finden, wählen Sie eine URL aus, die in der Haupttabelle mit einem 404-Antwortcode markiert ist, und öffnen Sie dann die Registerkarte Inlinks am unteren Rand des Fensters. Diese Ansicht zeigt jede Seite an, die einen Hyperlink enthält, der auf die defekte Seite zielt, komplett mit dem genau verwendeten Ankertext. Der Export dieser Daten ermöglicht es Entwicklern, tote Links über Hunderte von statischen Seiten hinweg in einem einzigen gezielten Update zu aktualisieren.
Weiterleitungsketten und -schleifen führen zu Latenz und erschöpfen das Crawl-Budget, da Suchmaschinen mehrere Hops navigieren, bevor sie ein endgültiges Ziel erreichen. Greifen Sie in Screaming Frog auf Berichte > Weiterleitungen > Weiterleitungsketten zu, um eine automatisierte End-to-End-Verfolgung von mehrstufigen Weiterleitungen zu generieren. Eine kanonische Einrichtung sollte in einem einzigen 301-Hop von nicht sicheren HTTP- oder nachgestellten Schrägstrich-Variationen direkt zum endgültigen kanonischen HTTPS-Ziel aufgelöst werden. Das Eliminieren von Zwischen-Weiterleitungsschritten reduziert die Serverlast und gibt Link-Equity ohne unnötigen Zerfall über mehrere Weiterleitungsschichten hinweg weiter.
Externe defekte Links schädigen die Glaubwürdigkeit der Website und verschlechtern das allgemeine Benutzervertrauen, wenn Besucher auf tote Zielseiten stoßen. Filtern Sie unter der Registerkarte Extern nach 4xx-Statuscodes, um ausgehende Links aufzudecken, die auf gelöschte Ressourcen auf externen Domains verweisen. Suchmaschinen bevorzugen Websites, die aktive, qualitativ hochwertige Zitate und ausgehende Referenzen pflegen. Das Aktualisieren oder Entfernen defekter externer Hyperlinks während routinemäßiger monatlicher Audits verhindert ausgehende Linkfäule über redaktionelle Langform-Inhalte und Wissensdatenbanken hinweg.
Analyse von On-Page-SEO-Elementen im großen Maßstab
Screaming Frog vereinfacht die Analyse von Meta-Titeln und Meta-Beschreibungen über Tausende von Seiten hinweg gleichzeitig durch integrierte Zeichen- und Pixelzähler. Wählen Sie die Registerkarte Seitentitel und wenden Sie Filter für Über 60 Zeichen, Unter 30 Zeichen, Doppelt oder Fehlend an. Titel, die empfohlene Pixelgrenzen überschreiten, werden in Google-Suchergebnissen abgeschnitten, was die Klickraten reduziert. Analysieren Sie ebenso die Registerkarte Meta-Beschreibung, um sicherzustellen, dass alle Kernseiten über eindeutige beschreibende Texte verfügen, die den Seiteninhalt innerhalb von 150 bis 160 Zeichen präzise zusammenfassen.
Die Überschriftenstruktur spielt eine direkte Rolle bei der Themenhierarchie und Zugänglichkeit für Suchmaschinen-Spider. Überprüfen Sie unter den Registerkarten H1 und H2 auf fehlende Überschriften-Tags, doppelte H1-Tags oder Instanzen, in denen mehrere H1-Elemente auf einer einzigen Landingpage existieren. Ein sauberer HTML-Gliederungsentwurf verwendet ein einzelnes beschreibendes H1-Tag, das auf das primäre Ziel-Keyword ausgerichtet ist, gefolgt von logisch geordneten H2- und H3-Tags. Das Korrigieren doppelter H1-Tags über vorlagenbasierte Layouts hinweg verbessert die strukturelle Klarheit über E-Commerce-Kategorieseiten und Publikationskataloge hinweg.
Bildoptimierung bleibt ein übersehener technischer Audit-Bereich, der sich auf die mobile Seitengeschwindigkeit und Zugänglichkeitsmetriken auswirkt. Klicken Sie auf die Registerkarte Bilder und filtern Sie nach Über 100 KB, um große, unkomprimierte Bild-Assets zu identifizieren, die die Seitenladezeiten verlangsamen. Filtern Sie zusätzlich nach Fehlendem Alt-Text, um Bilder zu finden, denen beschreibende Alt-Attribute fehlen, die für Screenreader und Bildsuchindexierung erforderlich sind. Der Export dieser Dateiliste gibt Ihrem Medienteam genaue Asset-Pfade, die WebP-Komprimierung und Aktualisierungen des beschreibenden Alt-Textes erfordern.
Wie können Sie doppelte Inhalte und dünne Seiten erkennen?
Doppelte Inhalte verwässern die Suchrelevanz und erzeugen kanonische Verwirrung, wenn Suchmaschinen versuchen, die primäre Ranking-URL für eine Suchanfrage auszuwählen. Navigieren Sie in Screaming Frog zu Konfiguration > Inhalt > Duplikate und aktivieren Sie Nahezu-Duplikate aktivieren, um einen algorithmusbasierten Ähnlichkeitsabgleich zu ermöglichen. Überprüfen Sie nach dem Ausführen des Crawls die Registerkarte Inhalt und wählen Sie Exakte Duplikate oder Nahezu-Duplikate aus, um kopierte Produktbeschreibungen, syndizierte Artikel oder Boilerplate-Vorlagentexte aufzudecken. Das Lösen von Duplikatproblemen erfordert die Implementierung von selbstreferenziellen kanonischen Tags oder das Umschreiben von Boilerplate-Texten.
Dünner Inhalt bezieht sich auf Seiten, die eine geringe Wortanzahl oder wenig originellen Wert für Suchmaschinen-Endbenutzer enthalten. Legen Sie benutzerdefinierte Wortzahlschwellenwerte in Screaming Frog unter Konfiguration > Inhalt > Bereich zum Ausschließen fest, um Navigationskopfzeilen und Fußzeilentexte bei Wortzahlberechnungen zu ignorieren. Filtern Sie die Spalte Wortzahl in der Registerkarte Intern, um Seiten mit weniger als 200 Wörtern anzuzeigen. Die Bewertung dieser URLs hilft zu bestimmen, ob dünne Seiten in umfassende Leitfäden konsolidiert, noindex-Anweisungen angewendet oder die Inhaltsabdeckung erweitert werden sollte.
- Aktivieren Sie Algorithmen zur Erkennung von Nahezu-Duplikaten mit benutzerdefinierten Ähnlichkeitsschwellenwerten zwischen 85% und 90%.
- Schließen Sie gängige Boilerplate-Texte wie Hauptnavigation, Seitenleisten-Widgets und Fußzeilen-Links von der Inhaltsanalyse aus.
- Gruppieren Sie doppelte Seiten nach passenden Clustern, um zu bewerten, ob Parameterhandhabung oder Sitzungs-IDs Duplikate erstellt haben.
- Auditieren Sie Wortzahlen auf Kern-Informationsseiten und markieren Sie Einträge unterhalb von Ziel-Wortschwellenwerten zur Konsolidierung.
- Überprüfen Sie kanonische URLs gegen ursprüngliche Inhaltsziele, um zu verifizieren, ob Parameter-URLs Equity korrekt zuordnen.
Integration von Google Analytics 4 und Search Console APIs
Die Kopplung von Screaming Frog mit externen Daten-APIs bietet tiefere Einblicke durch die Kombination technischer Crawl-Metriken mit tatsächlichen Verkehrs- und Leistungsindikatoren. Navigieren Sie zu Konfiguration > API-Zugriff > Google Analytics 4, um Ihr Konto zu authentifizieren und Ihre Zieleigenschaft auszuwählen. Sobald verbunden, zieht Screaming Frog Metriken wie aktive Benutzer, Engagement-Rate und Sitzungsanzahl direkt in das Haupt-Crawl-Raster neben technischen Antwortcodes und Seitentiteln.
Das Verbinden der Google Search Console API fügt Suchleistungsdaten hinzu, einschließlich Klicks, Impressionen, durchschnittlicher Position und URL-Inspektionsstatus. Autorisieren Sie unter Konfiguration > API-Zugriff > Google Search Console den Zugriff und wählen Sie Ihre verifizierte Domain-Eigenschaft aus. Diese Integration ermöglicht es Ihnen, indexierte Seiten zu identifizieren, die über einen Zeitraum von 90 Tagen null organische Klicks erhalten, sowie nicht indexierte Seiten, die Suchmaschinen entdeckt, aber noch nicht zum Index hinzugefügt haben.
Die Kombination von API-Daten mit technischen Crawl-Metriken offenbart umsetzbare Optimierungsmöglichkeiten, die einfache technische Scans übersehen. Beispielsweise ermöglicht das Filtern nach Seiten mit hohen Impressionen in der Search Console, aber niedrigen Klickraten, die Optimierung von Meta-Titeln und Beschreibungen für sofortiges organisches Wachstum. Ebenso hilft die Identifizierung von Seiten mit hohem Datenverkehr mit technischen 4xx-Fehlern oder langsamen Antwortzeiten dabei, Entwicklertickets basierend auf tatsächlichen kommerziellen Auswirkungen anstatt auf willkürlichen technischen Schweregraden zu priorisieren.
Wie Alien Road Screaming Frog bei technischen Audits anwendet
Bei Alien Road integrieren unsere technischen Suchspezialisten Screaming Frog in jede Entdeckungsphase für neue Kunden-Domains. Während des anfänglichen Kunden-Onboardings erstellen wir benutzerdefinierte Crawl-Parameter, die auf die Architektur des Kunden zugeschnitten sind, egal ob wir einen mehrregionalen Shopify-Shop oder eine Unternehmens-Publikationsplattform auditieren. Wir verbinden benutzerdefinierte API-Pipelines direkt mit Screaming Frog und überlagern historische Leistungsdaten aus der Google Search Console und Analysetools, um technische Korrekturen basierend auf tatsächlichen geschäftlichen Auswirkungen zu priorisieren.
Unser Diagnose-Workflow geht über einfache automatisierte Berichterstattung hinaus, indem Crawl-Ausgaben mit maßgeschneiderten automatisierten Analyse-Pipelines kombiniert werden. Alien Road erstellt benutzerdefinierte Regex-Filter innerhalb von Screaming Frog, um interne Linktiefe, strukturierte Datenvalidierung und internationale Hreflang-Implementierung über lokalisierte Unterverzeichnisse hinweg zu verfolgen. Durch die Umwandlung von rohen CSV-Exporten in interaktive Kunden-Dashboards liefern wir klare, priorisierte Engineering-Roadmaps, die die Kommunikation zwischen Marketingteams und Softwareentwicklungsteams rationalisieren.
Wo Sie diese Woche anfangen sollten
Um die technische Basis Ihrer Website noch heute zu verbessern, laden Sie die kostenlose oder lizenzierte Version von Screaming Frog herunter und führen Sie einen vorläufigen Crawl Ihrer Hauptdomain durch. Beginnen Sie mit der Behebung kritischer 4xx- und 5xx-Antwortcode-Fehler, die unter der Registerkarte Antwortcodes identifiziert wurden, und aktualisieren oder leiten Sie defekte interne Links um, die im Inlinks-Bericht aufgedeckt wurden. Die sofortige Behebung defekter interner Ressourcen stellt verlorene Link-Equity wieder her und verbessert die Crawl-Effizienz über Ihre gesamte Website-Struktur hinweg.
Konzentrieren Sie sich als Nächstes auf einfach zu behebende On-Page-Metadaten-Korrekturen, indem Sie fehlende Seitentitel und doppelte H1-Tags auf Ihren Kern-Landingpages auflösen. Verbinden Sie die Google Search Console API innerhalb der Screaming Frog-Einstellungen, um entdeckte Seiten anzuzeigen, die derzeit im Index fehlen. Die Einrichtung einer monatlichen automatisierten Crawl-Routine stellt sicher, dass Ihr Team technische Fehler frühzeitig erkennt und so eine saubere Website-Architektur und eine konsistente organische Suchleistung im Laufe der Zeit aufrechterhält.
Weiterlesen: SEO (Suchmaschinenoptimierung) · SEO