Das Testen von robots.txt-Dateien wird einfacher

Mittwoch, 16. Juli 2014

Crawlen oder nicht crawlen, das ist hier die robots.txt-Frage.

Das Erstellen und Verwalten korrekter robots.txt-Dateien kann manchmal schwierig sein. Während es für die meisten Websites einfach ist (Tipp: Oft brauchen sie gar keine robots.txt-Datei!), kann das Finden der Regeln in einer großen robots.txt-Datei, die einzelne URLs blockieren oder blockiert haben, ziemlich knifflig sein. Um dies zu erleichtern, kündigen wir jetzt ein aktualisiertes
robots.txt-Testtool
in Webmaster Tools an.

Sie finden das aktualisierte Testtool in
Webmaster Tools
im Bereich „Crawl“:

Hier sehen Sie die aktuelle robots.txt-Datei und können neue URLs testen, um zu sehen, ob sie für das Crawling gesperrt sind. Um Ihnen den Weg durch komplizierte Regeln zu weisen, wird die spezifische Regel hervorgehoben, die zur endgültigen Entscheidung geführt hat. Sie können Änderungen in der Datei vornehmen und diese ebenfalls testen. Sie müssen lediglich die neue Version der Datei anschließend auf Ihren Server hochladen, damit die Änderungen wirksam werden. Unsere Entwickler-Website enthält
weitere Informationen zu robots.txt-Regeln und zur Verarbeitung der Dateien.

Zusätzlich können Sie ältere Versionen Ihrer robots.txt-Datei überprüfen und sehen, wenn Zugriffsprobleme uns am Crawlen hindern. Wenn Googlebot beispielsweise einen 500 Serverfehler für
die robots.txt-Datei

feststellt, pausieren wir im Allgemeinen das weitere Crawling der Website.
Da für Ihre bestehenden Websites möglicherweise einige Fehler oder Warnungen angezeigt werden, empfehlen wir, deren robots.txt-Dateien noch einmal zu überprüfen. Sie können dies auch mit anderen Teilen von Webmaster Tools kombinieren: Verwenden Sie beispielsweise das aktualisierte
Fetch as Google tool

, um wichtige Seiten auf Ihrer Website darzustellen. Wenn gemeldete blockierte URLs vorliegen, können Sie dieses robots.txt-Testtool verwenden, um die Regel zu finden, die sie blockiert, und diese natürlich zu verbessern. Ein häufiges Problem, das wir festgestellt haben, rührt von alten robots.txt-Dateien her, die CSS, JavaScript oder mobile Inhalte blockieren – dies zu beheben ist oft trivial, sobald man es gesehen hat.
Wir hoffen, dass dieses aktualisierte Tool es Ihnen erleichtert, die robots.txt-Datei zu testen und zu pflegen. Sollten Sie Fragen haben oder Hilfe beim Erstellen guter Regeln benötigen, können Sie vorbeischauen in!

unserem Hilfe-Forum für Webmaster Veröffentlicht vonAsaph Arnon