Eine robots.txt-Datei ist ein Standard-Textdokument im Stammverzeichnis einer Website, das Web-Crawlern Anweisungen gibt, welche Seiten sie besuchen dürfen und welche nicht. Sie dient als primäres Kommunikationsmittel zwischen einem Webmaster und Suchmaschinen-Bots und hilft dabei, die Ressourcennutzung während des Discovery-Prozesses zu verwalten. Obwohl sie ein grundlegender Bestandteil der technischen SEO ist, unterschätzen viele Website-Betreiber ihre Einschränkungen, insbesondere in Bezug auf die Seitenindexierung und Sicherheit.
Was ist der Zweck einer robots.txt-Datei?
Das Hauptziel einer robots.txt-Datei ist die Verwaltung des Crawl-Budgets. Suchmaschinen wie Google und Bing verfügen nicht über unendliche Ressourcen, um jeden Tag jede einzelne Seite im Internet zu crawlen. Sie weisen jeder Website eine bestimmte Menge an Zeit und Energie zu, das sogenannte Crawl-Budget. Wenn Ihre Website Tausende von minderwertigen Seiten enthält, wie interne Suchergebnisse, Filterparameter oder doppelte Inhalte, könnten Bots ihre Zeit damit verschwenden, anstatt Ihre wichtigsten Artikel oder Produkte zu finden.
Durch die Verwendung einer robots.txt-Datei können Sie Bots von administrativen Bereichen, temporären Ordnern oder sensiblen Suchanfragen fernhalten. Dies stellt sicher, dass der Crawler seine Zeit für hochwertige Inhalte aufwendet, die tatsächlich in den Suchergebnissen erscheinen sollen. Es ist wichtig zu bedenken, dass diese Dateien öffentlich sind; jeder kann Ihre Regeln sehen, indem er /robots.txt an Ihre Domain anhängt. Daher sollten Sie diese Datei niemals verwenden, um private Informationen oder sensible Verzeichnisse vor Benutzern zu verbergen.
Wie strukturiert man eine robots.txt-Datei korrekt?
Eine Standard-robots.txt-Datei verwendet eine einfache Syntax, die aus Anweisungen und Werten besteht. Jeder Anweisungssatz beginnt mit der Identifizierung des Bots, für den er gilt, gefolgt von den spezifischen Regeln für diesen Bot. Die Datei muss exakt robots.txt heißen, komplett kleingeschrieben sein und im obersten Verzeichnis Ihres Webservers platziert werden. Wenn sie in einem Unterordner platziert wird, suchen Suchmaschinen nicht danach und gehen davon aus, dass keine Regeln existieren.
Die grundlegenden Komponenten der Datei umfassen die folgenden Anweisungen:
- User-agent: Identifiziert, für welchen Crawler die Regel gilt (z. B. Googlebot, Bingbot oder * für alle).
- Disallow: Gibt ein Verzeichnis oder eine Seite an, die der Crawler nicht besuchen soll.
- Allow: Bietet eine Ausnahme zu einer Disallow-Regel und erlaubt das Crawlen eines bestimmten Unterordners.
- Sitemap: Verweist den Crawler auf den Speicherort Ihrer XML-Sitemap, um bei der Entdeckung zu helfen.
In einem typischen Konto könnte eine einfache robots.txt-Datei so aussehen: User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml Dies weist alle Bots an, sich vom WordPress-Admin-Bereich fernzuhalten, erlaubt ihnen jedoch den Zugriff auf die AJAX-Datei, die oft für die Funktionalität der Website erforderlich ist.
Warum indexiert Google immer noch Seiten, die durch robots.txt blockiert sind?
Einer der häufigsten Punkte der Verwirrung bei SEO ist der Unterschied zwischen Crawling und Indexierung. Robots.txt steuert das Crawling, nicht die Indexierung. Wenn Google einen Link zu einer Seite auf Ihrer Website von einer externen Quelle findet, weiß es, dass die Seite existiert. Selbst wenn Ihre robots.txt-Datei Google verbietet, diese Seite zu besuchen, könnte die Suchmaschine die URL basierend auf den Informationen, die sie aus dem externen Link sammelt, immer noch indexieren.
Dies führt zu einem spezifischen Problem: Wenn Sie eine Seite vollständig aus den Suchergebnissen heraushalten möchten, müssen Sie ein ‘noindex’-Meta-Tag verwenden. Ein ‘noindex’-Tag funktioniert jedoch nur, wenn die Suchmaschine die Seite crawlen kann, um das Tag zu sehen. Wenn Sie die Seite in der robots.txt blockieren, besucht der Bot die Seite nie, sieht die ‘noindex’-Anweisung nie und die Seite könnte in den Suchergebnissen verbleiben. Damit eine Seite über ‘noindex’ entfernt werden kann, muss sie für den Crawler zugänglich sein.
Häufige robots.txt-Fehler, die Suchrankings schaden
Ein einziger Zeichenfehler in Ihrer robots.txt-Datei kann schwerwiegende Folgen haben. Während Website-Migrationen oder Entwicklungsphasen ist es üblich, dass Entwickler ‘Disallow: /’ verwenden, um zu verhindern, dass eine Staging-Site indexiert wird. Diese Anweisung blockiert alle Crawler von jeder Seite der Website. Wenn dieser Code versehentlich auf den Live-Produktionsserver verschoben wird, wird Ihre gesamte Website schließlich aus den Suchergebnissen verschwinden, da Bots angewiesen werden, den Besuch einzustellen.
Ein weiterer häufiger Fehler ist das Blockieren interner Assets wie CSS- und JavaScript-Dateien. Historisch gesehen interessierten sich Suchmaschinen nur für Textinhalte. Heute rendert Googlebot Seiten wie ein moderner Browser, um Layout, Mobilfreundlichkeit und Benutzererfahrung zu bewerten. Wenn Ihre robots.txt die Ordner blockiert, die Ihre Styles oder Skripte enthalten, sieht die Suchmaschine eine defekte Version Ihrer Website, was zu niedrigeren Rankings und ‘Mobile Usability’-Fehlern in der Search Console führen kann.
Groß-/Kleinschreibung ist ein weiterer Bereich, in dem Fehler auftreten. Während die Anweisungen wie ‘User-agent’ nicht zwischen Groß- und Kleinschreibung unterscheiden, tun dies die Pfade zu Dateien und Ordnern oft. Zum Beispiel wird ‘Disallow: /Private/’ einen Ordner namens ‘/private/’ nicht blockieren. Es ist eine bewährte Methode, für alle Datei- und Ordnernamen auf Ihrem Server Kleinschreibung zu verwenden, um diese technischen Konflikte zu vermeiden.
Verwaltung von robots.txt für E-Commerce und große Websites
Große Websites, wie ein Shopify-Shop, der Tausende von Bekleidungsartikeln verkauft, stehen vor einzigartigen Herausforderungen. E-Commerce-Plattformen generieren oft eine massive Anzahl von URLs durch facettierte Navigation, wie Filter für Farbe, Größe oder Preisspanne. Diese gefilterten Seiten enthalten oft doppelte Inhalte, die nicht indexiert werden müssen. Ohne eine richtige robots.txt-Strategie können diese Websites ihr Crawl-Budget leicht an nutzlosen URL-Parametern erschöpfen.
Zum Beispiel könnten Sie eine Regel wie ‘Disallow: /*?*’ verwenden, um alle URLs zu blockieren, die ein Fragezeichen enthalten, was oft auf einen Tracking-Parameter oder einen Filter hinweist. Sie müssen jedoch vorsichtig sein, keine wesentlichen Seiten zu blockieren, die ebenfalls Parameter verwenden. Bei Alien Road empfehlen wir, Ihre internen Suchanfrage-Protokolle zu überprüfen, um festzustellen, welche URL-Muster am häufigsten gecrawlt werden und ob sie den Suchnutzern einen tatsächlichen Mehrwert bieten.
Wie testet und validiert man seine robots.txt-Datei?
Bevor Sie Änderungen an Ihrer Live-Website vornehmen, sollten Sie Ihre Regeln immer validieren. Google bietet ein Robots.txt-Tester-Tool in der älteren Version der Search Console an, mit dem Sie Ihren Code einfügen und spezifische URLs dagegen testen können. Dies hilft Ihnen genau zu sehen, welche Regeln welche Seiten blockieren. Es gibt auch verschiedene Browser-Erweiterungen von Drittanbietern und Online-Validatoren, die Syntaxfehler oder logische Konflikte hervorheben können.
Ein gängiges Muster für die Validierung umfasst diese Schritte:
- Überprüfen Sie, ob die Datei unter yourdomain.com/robots.txt zugänglich ist.
- Stellen Sie sicher, dass es keine ‘Disallow: /’-Regeln gibt, es sei denn, Sie beabsichtigen, die gesamte Website zu blockieren.
- Bestätigen Sie, dass Ihre CSS- und JS-Ordner nicht blockiert sind.
- Überprüfen Sie, ob Ihre XML-Sitemap-URL korrekt am Ende der Datei aufgeführt ist.
- Testen Sie Ihre wichtigsten Produkt- oder Landingpages, um sicherzustellen, dass sie erlaubt sind.
Wo man diese Woche anfangen sollte
Ihr erster Schritt sollte sein, die /robots.txt-Adresse Ihrer eigenen Website zu besuchen, um zu sehen, welche Anweisungen derzeit live sind. Überprüfen Sie Ihren ‘Indexierung’-Bericht in der Google Search Console auf Warnungen wie ‘Indexiert, obwohl durch robots.txt blockiert’. Dies zeigt an, dass Sie Seiten blockieren, die Google für wichtig genug hält, um sie trotzdem zu indexieren, was ein Zeichen für einen Logikfehler in Ihrer Strategie ist. Wenn Sie diese finden, bewerten Sie, ob Sie die Blockierung entfernen oder ein ‘noindex’-Tag hinzufügen sollten, während Sie das Crawling erlauben. Stellen Sie schließlich sicher, dass Ihre Sitemap korrekt verlinkt ist, um Crawlern zu helfen, effizient durch Ihre Website zu navigieren.
Weiterlesen: SEO (Suchmaschinenoptimierung) · SEO