Freitag, 7. März 2025
Als langjähriges Werkzeug für Website-Besitzer ist robots.txt seit über 30 Jahren im aktiven Einsatz und wird von Crawlern (wie Tools für Website-Besitzer, Diensten und Suchmaschinen) breit unterstützt. In dieser Ausgabe der Robots-Refresher-Serie, werfen wir einen genaueren Blick auf robots.txt als flexible Möglichkeit, Robotern mitzuteilen, was sie auf Ihrer Website tun (oder nicht tun) sollen.
Erste Schritte mit robots.txt
Die Funktionsweise dieser Dateien ist einfach: Sie erstellen eine Textdatei namens „robots.txt“ und laden sie auf Ihre Website hoch – und wenn Sie ein Content-Management-System (CMS) verwenden, ist es wahrscheinlich noch einfacher. Sie können Ihre robots.txt-Datei leer lassen (oder überhaupt keine haben), wenn Ihre gesamte Website gecrawlt werden darf, oder Sie können Regeln hinzufügen, um das Crawling zu verwalten. Um beispielsweise allen Bots (auch bekannt als Crawler, Robots, Spiders) mitzuteilen, dass sie Ihre „In den Warenkorb“-Seite meiden sollen, könnten Sie dies in Ihre robots.txt-Datei schreiben:
Spezifischere Dinge, die Sie mit robots.txt tun können
robots.txt ist das Schweizer Taschenmesser, um auszudrücken, was verschiedene Roboter auf Ihrer Website tun oder nicht tun sollen: Es kann nur aus wenigen Zeilen bestehen oder komplex mit aufwendigeren Regeln sein, die auf sehr spezifische URL-Muster abzielen. Sie können eine robots.txt-Datei verwenden, um technische Probleme zu lösen (wie unnötige paginierte Seiten), oder aus redaktionellen oder persönlichen Gründen (wie dem Wunsch, dass bestimmte Dinge nicht gecrawlt werden). Sie könnten zum Beispiel:
Mehrere Bots (aber nicht alle) über dieselbe Regel informieren  Diese Gruppe weist sowohl | |
Einen Bot anweisen, Pfade zu meiden, die einen bestimmten Text enthalten Sie könnten beispielsweise | |
Einen Bot anweisen, dass er Ihren Blog crawlen darf, aber nicht die Entwürfe | |
Einen Crawler von einem Teil Ihrer Website ausschließen und gleichzeitig anderen Crawlern den Zugriff auf Ihre Website erlauben Diese robots.txt-Datei verbietet dem genannten | |
Einen Kommentar für Ihr zukünftiges Ich hinterlassen Sie können eine Zeile mit |
Für noch mehr können Sie sich unsere Liste nützlicher robots.txt-Regeln.
ansehen
Änderungen an Ihrer robots.txt-Datei vornehmen (praktisch) Das Robots Exclusion Protocol (REP) funktioniert, indem Regeln („erlauben“ oder „verbieten“) zusammengefügt und festgelegt werden, für welche Roboter diese Regeln gelten. Sie müssen weder programmieren lernen noch an Tools herumfummeln; Sie können diese Regeln einfach in eine Textdatei schreiben und auf Ihre Website hochladen.
Für die meisten Websites ist es noch einfacher als das! Wenn Sie ein CMS verwenden, ist darin normalerweise bereits etwas integriert, mit dem Sie Ihre robots.txt-Datei ändern können. Einige CMS ermöglichen es Ihnen beispielsweise, Ihre robots.txt-Datei über Kontrollkästchen oder ein einfaches Formular anzupassen, und viele verfügen über Plugins, die Ihnen beim Einrichten und Schreiben von Regeln für Ihre robots.txt-Datei helfen. Um zu prüfen, was in Ihrem CMS möglich ist, können Sie nach dem Namen Ihres CMS + „edit robots.txt file“ suchen.
Sobald alles eingerichtet ist, können Sie auch testen, ob Ihre Datei wie gewünscht eingerichtet ist. Es gibt viele von der Web-Community entwickelte Testtools, die dabei helfen, wie
Das robots.txt-Testtool von TametheBot
und diesen robots.txt-Parser , die die Open-Source-Bibliothek für robots.txt-Parser.
verwenden. Wenn Sie Fragen zu robots.txt haben, finden Sie uns auf
LinkedIn oder Sie können sich mit Gleichgesinnten in.
John Mueller
So setzen wir das um
We archive Search Central announcements because client questions often trace back to a change that was announced years ago. Reading the original is faster than reconstructing it from second-hand summaries.
Verwandte Leistungen