Indexierbarkeit vs. Crawlbarkeit für SEO erklärt

Die Crawlbarkeit ist das technische Fundament der Suchmaschinenoptimierung, da sie bestimmt, ob eine Suchmaschine Ihre Inhalte überhaupt sehen kann. Bei einer typischen Website beginnt der Googlebot damit, die robots.txt-Datei abzurufen, um zu sehen, welche Verzeichnisse tabu sind. Wenn Ihre Seitenstruktur unübersichtlich ist oder Ihre Server-Antwortzeiten langsam sind, hört der Bot möglicherweise auf, die Seite häufig zu besuchen, was zu einer verzögerten Entdeckung neuer Artikel oder Produktaktualisierungen führt. In einem typischen Konto stellen wir oft fest, dass tief verschachtelte Architekturen – bei denen eine Seite mehr als vier Klicks von der Homepage entfernt ist – unter einer schlechten Crawl-Frequenz leiden. Wenn ein Bot auf einen defekten Link oder eine Weiterleitungsschleife stößt, verschwendet er seine begrenzten Ressourcen, das sogenannte Crawl-Budget, und verlässt die Website, bevor er die wichtigen Inhalte erreicht.

Die Serverleistung bestimmt auch, wie effektiv eine Website gecrawlt wird. Wenn ein Server länger als 200 ms zum Antworten benötigt, reduziert der Googlebot möglicherweise die Geschwindigkeit, mit der er Seiten anfordert, um einen Absturz der Website zu vermeiden. Dies ist besonders bei großen E-Commerce-Plattformen mit Tausenden von SKUs spürbar. Ein häufiges Muster ist, dass Websites, die schwere Bilder oder nicht optimierte Skripte verwenden, einen Rückgang der Crawl-Frequenz erleben. Um eine gesunde Crawl-Rate aufrechtzuerhalten, sollten technische Teams den Bericht ‘Crawl-Statistiken’ in der Google Search Console überwachen. Dieser Bericht zeigt, wie viele Anfragen täglich gestellt werden und ob der Bot auf 404-Fehler oder Serverfehler der 500er-Ebene stößt, die ihn daran hindern, sich durch den Link-Graphen zu bewegen.

Sobald eine Seite gecrawlt wurde, muss die Suchmaschine entscheiden, ob sie es wert ist, in ihrer permanenten Datenbank behalten zu werden. Die Indexierbarkeit hängt von den Signalen ab, die Sie dem Bot durch HTML-Tags und Header senden. Der direkteste Weg, die Indexierung zu verhindern, ist das ‘noindex’-Meta-Tag. Dies teilt Google mit, dass es die Seite zwar gefunden hat, sie aber nicht den Nutzern anzeigen soll. Ein weiterer häufiger Faktor ist das Canonical-Tag. Wenn Sie drei ähnliche Produktseiten haben, aber nur ein Canonical-Tag auf eine einzige Version verweist, werden die anderen beiden Seiten gecrawlt, aber nicht indexiert. Dies ist kein Fehler, sondern eine bewusste Anweisung, um Probleme mit doppelten Inhalten in den Suchergebnissen zu vermeiden.

Inhaltsqualität und Einzigartigkeit beeinflussen ebenfalls die Indexierbarkeit. Der Googlebot crawlt eine Seite möglicherweise, entscheidet sich aber dagegen, sie zu indexieren, wenn der Inhalt zu dünn ist oder von einer anderen Quelle dupliziert wurde. Bei einem typischen Audit stellen wir fest, dass Seiten mit weniger als 200 Wörtern Originaltext oder Seiten, die rein durch Filter generiert werden (wie Preisbereichsauswahlen in einem Shop), oft aus dem Index ausgeschlossen werden. Google Search Central dokumentiert, dass Indexierbarkeit bedeutet, dass Google die Seiten speichert und anzeigt. Wenn der Bot also erkennt, dass die Seite für den Nutzer keinen Wert hat, überspringt er einfach die Speicherphase. Dies stellt sicher, dass die Suchergebnisse für den Endnutzer relevant und qualitativ hochwertig bleiben.

Ja, dies kommt in den Berichten der Google Search Console häufig vor. Der Status ‘Gecrawlt – zurzeit nicht indexiert’ bedeutet, dass der Googlebot die URL erfolgreich erreicht und den Inhalt gelesen hat, sich aber aus irgendeinem Grund dazu entschieden hat, sie nicht in den Suchindex aufzunehmen. Dies geschieht oft, weil Google glaubt, dass der Inhalt nicht einzigartig genug ist oder weil die Seite ein Duplikat einer anderen Seite ist, die es bereits gefunden hat. In einigen Fällen ist es möglicherweise nur eine Frage der Zeit; Google crawlt eine Seite möglicherweise, wartet aber mit der Indexierung, bis es mehr externe oder interne Links sieht, die darauf verweisen. Dieser Status ist ein Signal dafür, dass Ihre Crawlbarkeit zwar funktioniert, Ihre Indexierbarkeit jedoch durch Inhaltsaktualisierungen oder eine bessere interne Verlinkung verbessert werden muss.

Ein weiterer Grund für dieses Verhalten ist das Vorhandensein von ‘Soft 404’-Fehlern. Dies geschieht, wenn eine Seite dem Benutzer mitteilt, dass sie nicht existiert, der Server aber einen ‘200 OK’-Statuscode sendet. Der Googlebot crawlt die Seite, sieht, dass sie effektiv leer ist oder eine Fehlerseite darstellt, und weigert sich, sie zu indexieren. Um dies zu beheben, müssen Sie sicherstellen, dass Ihr Server die korrekten 404- oder 410-Statuscodes für fehlende Inhalte sendet. Ein korrektes Statuscode-Management ist eine Brücke zwischen Crawlbarkeit und Indexierbarkeit, die sicherstellt, dass die Suchmaschine keine Zeit mit Sackgassen verschwendet. Durch das Bereinigen dieser Signale ermöglichen Sie es dem Bot, sich auf Ihre wertvollsten Landingpages zu konzentrieren.

Die Auditierung dieser beiden technischen Aspekte erfordert einen systematischen Ansatz unter Verwendung der Google Search Console und manueller Überprüfungen. Ein guter Ausgangspunkt ist der Bericht ‘Sitemaps’. Überprüfen Sie, ob die Anzahl der eingereichten URLs mit der Anzahl der indexierten URLs übereinstimmt. Wenn es eine große Lücke gibt, haben Sie wahrscheinlich ein Problem mit der Indexierbarkeit. Schauen Sie sich als Nächstes die ‘Crawl-Statistiken’ im Menü ‘Einstellungen’ in der Search Console an. Achten Sie auf Spitzen bei 404-Fehlern oder hohe Antwortzeiten. Eine gesunde Website sollte ein konsistentes Crawl-Muster zeigen, bei dem die meisten Antworten 200 (OK) sind. Wenn Sie sehen, dass viele 301-Weiterleitungen gecrawlt werden, sollten Sie in Erwägung ziehen, Ihre internen Links zu aktualisieren, damit sie direkt auf das endgültige Ziel verweisen, um Crawl-Budget zu sparen.

• Überprüfen Sie die robots.txt auf versehentliche ‘Disallow’-Befehle für wichtige Ordner.
• Verwenden Sie das URL-Prüftool, um zu sehen, ob eine bestimmte Seite indexiert werden darf.
• Überwachen Sie den Abschnitt ‘Ausgeschlossen’ im Bericht zur Indexabdeckung, um ‘noindex’-Tags zu finden.
• Stellen Sie sicher, dass Ihre XML-Sitemap nur URLs enthält, die einen 200-Statuscode zurückgeben.
• Überprüfen Sie, ob Ihre mobile Version und Ihre Desktop-Version denselben Inhalt anzeigen.
• Auditieren Sie Ihre internen Links, um sicherzustellen, dass keine ‘verwaisten Seiten’ ohne eingehende Links existieren.

Die Seitengeschwindigkeit ist direkt mit der Crawlbarkeit verbunden, da Suchmaschinen nur begrenzt Zeit haben, die sie auf einer einzelnen Website verbringen können. Wenn eine Website langsam lädt, kann der Bot nur wenige Seiten verarbeiten, bevor er zur nächsten Website in seiner Warteschlange weitergehen muss. Das bedeutet, dass Ihre neuen Inhalte auf einer langsamen Website möglicherweise Wochen brauchen, um entdeckt zu werden. Google Core Web Vitals, wie ein Largest Contentful Paint (LCP) von unter 2,5 Sekunden, sind nicht nur für die Benutzererfahrung wichtig; sie sind auch Marker für eine gesunde technische Umgebung. Schnelle Websites ermöglichen es dem Googlebot, mehr Seiten in der gleichen Zeit zu crawlen, was der primäre Weg ist, um Ihren gesamten Crawl-Bedarf und Ihre Frequenz zu erhöhen.

Darüber hinaus ist eine schnelle Serverantwort (Time to First Byte oder TTFB) ein Signal an Google, dass Ihre Infrastruktur zuverlässig ist. Wenn Ihr Server häufig Zeitüberschreitungen aufweist oder unter der Last eines Crawlers zu kämpfen hat, wird Google seine Crawl-Rate absichtlich verlangsamen, um Ihre Website vor einem Absturz zu schützen. Diese Schutzmaßnahme kann für Ihr SEO nachteilig sein, wenn Sie versuchen, für Nachrichten oder zeitkritische Themen zu ranken. Die Optimierung Ihrer Hosting-Umgebung, die Verwendung eines Content Delivery Network (CDN) und das Caching Ihrer Ressourcen sind praktische Möglichkeiten, um sicherzustellen, dass die Crawlbarkeit niemals durch Leistungsengpässe behindert wird.