Weitere Statistiken und Analysen zu robots.txt-Dateien

06. Februar 2006

Heute haben wir neue Funktionen für Sitemaps veröffentlicht.

robots.txt-Analyse

Wenn die Website eine
robots.txt-Dateienthält,
bietet der neue Tab „robots.txt“
die Ansicht des Googlebot

zu dieser Datei, einschließlich des Zeitpunkts des letzten Zugriffs durch den Googlebot, des zurückgegebenen Status und der Frage, ob der Zugriff auf Ihre Startseite blockiert wird. Dieser Tab listet auch etwaige Syntaxfehler in der Datei auf.

Sie können eine Liste von URLs eingeben, um zu sehen, ob die robots.txt-Datei diese zulässt oder blockiert.

Sie können Änderungen an Ihrer robots.txt-Datei auch testen, indem Sie sie hier eingeben und dann gegen den Googlebot-User-Agent, andere Google-User-Agents oder den Robots-Standard testen. So können Sie vor Änderungen an der Datei auf Ihrer Website mit Anpassungen experimentieren, um zu sehen, wie sich diese auf das Crawling Ihrer Website auswirken, und sicherstellen, dass die Datei keine Fehler enthält.

Wenn Sie keine robots.txt-Datei haben, können Sie diese Seite nutzen, um eine potenzielle robots.txt-Datei zu testen, bevor Sie sie zu Ihrer Website hinzufügen.

Mehr Statistiken

Die Crawling-Statistiken umfassen jetzt nach Monat die Seite Ihrer Website mit dem höchsten PageRank für die letzten drei Monate.

Die Seitenanalyse enthält nun eine Liste der häufigsten Wörter im Inhalt Ihrer Website und in externen Links zu Ihrer Website. Dies liefert Ihnen zusätzliche Informationen darüber, warum Ihre Website bei bestimmten Suchanfragen angezeigt werden könnte. Veröffentlicht von