Googlebot ignoriert Noindex-Tags in erster Linie, weil technische Barrieren den Crawler daran hindern, auf die Direktive auf Ihrer Seite zuzugreifen und sie zu lesen. Der häufigste Grund ist ein Konflikt mit Ihrer robots.txt-Datei, die Googlebot am Crawlen der URL hindert. Wenn der Crawler die Seite nicht abrufen kann, sieht er das Noindex-Tag nie und indexiert die URL möglicherweise dennoch basierend auf externen Signalen wie Backlinks oder Sitemap-Einträgen.
Warum indexiert Googlebot immer noch Seiten mit einem Noindex-Tag?
Wenn Sie einer Seite eine Noindex-Direktive hinzufügen, geben Sie Googlebot während der Indexierungsphase eine Anweisung. Damit diese Anweisung jedoch befolgt wird, muss Googlebot zunächst die Crawling-Phase abschließen. Crawling und Indexierung sind zwei unterschiedliche Schritte in der Google Search-Pipeline. Wenn die Crawling-Phase unterbrochen oder eingeschränkt wird, bleiben die im HTML enthaltenen Indexierungsanweisungen für die Suchmaschine unsichtbar.
Viele SEO-Praktiker gehen davon aus, dass ein Noindex-Tag ein universeller Schutzschild ist. In Wirklichkeit handelt es sich um eine Anfrage, die Sichtbarkeit erfordert. Wenn Ihr Server einen Statuscode oder eine Konfiguration zurückgibt, die Googlebot an der Tür stoppt, wird der Bot niemals das ‘Wohnzimmer’ erreichen, in dem sich Ihr Noindex-Tag befindet. Dies führt oft dazu, dass die Seite in den Suchergebnissen mit einem Snippet erscheint, das besagt: ‘Für diese Seite sind keine Informationen verfügbar’ oder einfach nur als nackte URL.
Der Konflikt zwischen robots.txt und der Noindex-Direktive
Der häufigste Fehler tritt auf, wenn ein Entwickler ein Verzeichnis in robots.txt blockiert und gleichzeitig ein Noindex-Tag zu den Seiten innerhalb dieses Verzeichnisses hinzufügt. Dies erzeugt ein logisches Paradoxon. Die robots.txt-Datei sagt Googlebot: ‘Crawl diese URL nicht.’ Da Googlebot dies befolgt, ruft er das HTML nie ab. Da er das HTML nie abruft, sieht er das Tag nie.
Um dies zu beheben, müssen Sie das Crawlen in Ihrer robots.txt-Datei für die spezifischen URLs erlauben, die Sie aus dem Index entfernen möchten. Sobald Googlebot die Seite crawlen darf, sieht er das Noindex-Tag und entfernt die URL umgehend aus den Suchergebnissen. Nachdem Sie überprüft haben, dass die Seite über die Google Search Console aus dem Index entfernt wurde, können Sie sie optional wieder in robots.txt blockieren, um Crawl-Budget zu sparen.
- Überprüfen Sie, ob die URL durch eine ‘Disallow’-Regel in Ihrer robots.txt-Datei blockiert wird.
- Stellen Sie sicher, dass das Noindex-Tag im und nicht im platziert ist.
- Überprüfen Sie, ob der X-Robots-Tag im HTTP-Header nicht von einem CDN oder Caching-Layer entfernt wird.
- Verwenden Sie das URL-Prüftool in der Google Search Console, um genau zu sehen, was Googlebot sieht.
Wie geht Googlebot mit JavaScript-basierten Noindex-Tags um?
Moderne Webanwendungen verwenden häufig Frameworks wie React oder Angular, um Meta-Tags dynamisch einzufügen. Obwohl Googlebot JavaScript rendern kann, erfolgt dieser Prozess nicht sofort. Googlebot führt zunächst ein ‘rohes’ Crawl des HTML durch. Wenn das Noindex-Tag im anfänglichen HTML-Quellcode nicht vorhanden ist und erst nach der JavaScript-Ausführung hinzugefügt wird, gibt es eine Verzögerung.
Während dieser Verzögerung kann Googlebot die initiale Version der Seite indexieren. Das Rendering ist ein sekundärer Prozess, der mehr Ressourcen benötigt. Wenn Ihr Server langsam ist oder das JavaScript komplex ist, schlägt das Rendering möglicherweise fehl oder läuft in einen Timeout. In solchen Fällen wird das Noindex-Tag nie erkannt. Für kritische Seiten, die privat bleiben müssen, ist es immer sicherer, das Noindex-Tag in der statischen HTML-Antwort oder über einen HTTP-Header bereitzustellen.
Für die meisten Websites indexiert Google Search in erster Linie die mobile Version des Inhalts.
Google Search Central
Die Auswirkung von Dateigrößenlimits auf die Direktiven-Erkennung
Googlebot hat spezifische Limits dafür, wie viele Daten er pro Datei verarbeitet. Große HTML-Dateien können zu übersehenen Direktiven führen. Wenn Ihre Seite mit schwerem Inline-CSS, großen Base64-Bildern oder übermäßigen Tracking-Skripten am Anfang des Dokuments überladen ist, wird das Noindex-Tag möglicherweise zu weit nach unten gedrückt.
Beim Crawlen für die Google Search crawlt Googlebot die ersten 2 MB eines unterstützten Dateityps.
Google Search Central
Wenn Ihr Noindex-Tag nach den ersten 2 MB Inhalt erscheint, hört Googlebot auf zu lesen, bevor es die Anweisung erreicht. Dies ist bei Standardseiten selten, aber bei massiven Datentabellen oder automatisch generierten Dokumentationsseiten üblich. Stellen Sie immer sicher, dass sich Ihre Meta-Tags ganz oben im befinden, um nicht durch diese technischen Limits abgeschnitten zu werden.
Wie Alien Road das Googlebot-Crawl-Management anwendet
Bei Alien Road betrachten wir das Crawl-Management als einen grundlegenden Schritt für jedes Kundenprojekt, wie etwa eine große E-Commerce-Website, die ein benutzerdefiniertes CMS verwendet. Wir raten nicht, warum Seiten indexiert werden; wir verwenden einen strukturierten Prozess, um diese Konflikte zu identifizieren und zu lösen. Unser Team folgt einem spezifischen Workflow, um sicherzustellen, dass die Sichtbarkeit in der Suchmaschine mit den Geschäftszielen des Kunden übereinstimmt.
Zuerst führen wir eine Logfile-Analyse durch, um zu sehen, wie Googlebot Smartphone und Googlebot Desktop mit der Website interagieren. Wir suchen nach Statuscodes, die auf Crawl-Fehler hinweisen. Bei einem typischen Projekt für einen Shopify-Shop könnten wir beispielsweise feststellen, dass Tausende von ‘Filter’-Seiten trotz Noindex-Versuchen indexiert werden. Wir überprüfen dann die robots.txt, um zu sehen, ob diese Filter blockiert sind, was Google daran hindern würde, die Noindex-Anweisung zu sehen.
- Entdeckung: Wir identifizieren indexierte Seiten, die verborgen werden sollten, mithilfe von ‘site:’-Operatoren und Search Console-Berichten.
- Audit: Wir vergleichen robots.txt-Regeln mit dem Vorhandensein von Noindex-Tags auf diesen spezifischen URLs.
- Anpassung: Wir erlauben (‘Allow’) die URLs vorübergehend in der robots.txt, damit Googlebot das Noindex-Tag verarbeiten kann.
- Verifizierung: Wir überwachen den Bericht ‘Indexabdeckung’, um zu bestätigen, dass die URLs in den Status ‘Ausgeschlossen’ wechseln.
- Bereinigung: Wir implementieren X-Robots-Tag-Header für Nicht-HTML-Dateien wie PDFs, die entfernt werden müssen.
Dieser systematische Ansatz stellt sicher, dass wir kein Crawl-Budget für Seiten mit geringem Wert verschwenden. Indem wir sicherstellen, dass Googlebot das Noindex-Signal klar sehen kann, helfen wir der Suchmaschine, ihre Energie auf die Seiten zu konzentrieren, die für unsere Kunden tatsächlich Conversions generieren. Wir vermeiden häufige Fallstricke, indem wir jede Änderung in einer Staging-Umgebung testen, bevor wir sie auf den Live-Server übertragen.
Warum ignoriert Googlebot x-robots-tag-Header?
Der X-Robots-Tag ist ein vom Server gesendeter HTTP-Header. Er ist eine solide Alternative zu Meta-Tags, insbesondere für Nicht-HTML-Dateien. Er kann jedoch fehlschlagen, wenn Ihre Serverkonfiguration falsch ist. Wenn Sie beispielsweise einen Load Balancer oder ein Caching-Plugin verwenden, wird der Header möglicherweise entfernt, bevor er Googlebot erreicht. Wenn die Seite außerdem einen 404- oder 500-Fehler zurückgibt, ignoriert Googlebot die Header möglicherweise vollständig, obwohl ein 404 im Laufe der Zeit natürlich zur De-Indexierung führt.
Ein weiteres Problem ist die Verwendung der ‘noindex’-Direktive in einer Sitemap. Es ist ein weit verbreiteter Mythos, dass das Platzieren einer URL in einer Sitemap mit einem speziellen Attribut sie aus der Suche entfernt. Google ignoriert Noindex-Direktiven in XML-Sitemaps. Sitemaps dienen der Entdeckung, nicht dem Ausschluss. Wenn Sie möchten, dass eine Seite verschwindet, muss die Anweisung auf der Seite selbst oder im HTTP-Header stehen.
Praktische Schritte zur Überprüfung Ihrer Noindex-Implementierung
Um sicherzustellen, dass Ihre Konfiguration korrekt ist, sollten Sie verschiedene Tools verwenden. Der erste Schritt ist das URL-Prüftool der Google Search Console. Mit diesem Tool können Sie die ‘Live-Test’-Version einer Seite anzeigen. Wenn der Live-Test zeigt, dass die Seite für die Indexierung verfügbar ist, bedeutet dies, dass Googlebot Ihr Noindex-Tag nicht sehen kann. Überprüfen Sie den Tab ‘Antwort’ im Tool, um das rohe HTML und die HTTP-Header anzuzeigen.
Sie sollten auch nach widersprüchlichen Tags suchen. Wenn ein Tag ‘index’ und ein anderes ‘noindex’ sagt, wählt Googlebot normalerweise das restriktivere, aber dies ist keine zuverlässige Strategie. Bereinigen Sie Ihren Code, um sicherzustellen, dass nur eine klare Direktive existiert. Wenn Sie ein Plugin für SEO verwenden, überprüfen Sie, ob es nicht standardmäßig ein ‘index’-Tag hinzufügt, das im Widerspruch zu Ihren manuellen Einstellungen steht.
Wo Sie diese Woche anfangen sollten
Beginnen Sie damit, die Google Search Console zu öffnen und zum Bereich ‘Indexierung’ zu navigieren. Suchen Sie nach dem Bericht ‘Durch Noindex-Tag ausgeschlossen’ und vergleichen Sie ihn mit der Warnung ‘Indexiert, obwohl durch robots.txt blockiert’. Wenn Sie Seiten in letzterer Kategorie sehen, die Sie entfernt haben möchten, aktualisieren Sie Ihre robots.txt, um das Crawlen für diese spezifischen Pfade zu erlauben. Diese einfache Änderung ermöglicht es Googlebot, Ihre Noindex-Tags zu sehen und die Suchergebnisse innerhalb weniger Crawl-Zyklen entsprechend zu aktualisieren.