Ein Hinweis zu nicht unterstützten Regeln in robots.txt

Dienstag, 2. Juli 2019

Gestern haben wir bekannt gegeben, dass wir den
Produktions-robots.txt-Parser von Google als Open Source zur Verfügung stellen. Das war ein aufregender Moment, der den Weg für potenzielle Open-Source-Projekte für die Suche in der Zukunft ebnet! Feedback ist hilfreich, und wir sammeln eifrig Fragen von
Entwicklern und
Webmastern gleichermaßen. Eine Frage

stach heraus, auf die wir in diesem Beitrag eingehen werden:

Warum ist kein Code-Handler für andere Regeln wie crawl-delay im Code enthalten? Der Internet-Entwurf , den wir gestern veröffentlicht haben, bietet eine erweiterbare Architektur für Regeln, die nicht Teil des Standards sind. Das bedeutet, dass wenn einCrawler eine eigene Zeile unterstützen wollte wie unicorns: allowed.

,
könnten sie das tun. Um zu demonstrieren, wie dies in einem Parser aussehen würde, haben wir eine sehr gebräuchliche Zeile,, sitemap, in unseren
Open-Source-robots.txt-Parsereingebunden. Während wir unsere Parser-Bibliothek als Open Source veröffentlichten, analysierten wir die Nutzung von robots.txt-Regeln. Insbesondere konzentrierten wir uns auf Regeln, die vom Internet-Entwurf nicht unterstützt werden, wie

crawl-delay
nofollow, und
noindex . Da diese Regeln nie von Google dokumentiert wurden, ist ihre Nutzung in Bezug auf den Googlebot natürlich sehr gering. Wenn wir weiter graben, stellen wir fest, dass ihre Nutzung in allen bis auf 0,001 % aller robots.txt-Dateien im Internet durch andere Regeln widersprochen wurde. Diese Fehler schädigen die Präsenz von Websites in den Google-Suchergebnissen auf eine Weise, die Webmaster schätzungsweise nicht beabsichtigt haben.
Im Interesse der Aufrechterhaltung eines gesunden Ökosystems und der Vorbereitung auf mögliche zukünftige Open-Source-Veröffentlichungen ziehen wir ab dem 1. September 2019 den gesamten Code zurück, der nicht unterstützte und unveröffentlichte Regeln (wie noindex

• ) verarbeitet. Für diejenigen unter Ihnen, die sich auf die
  noindex Indexierungsregel in der robots.txt -Datei verlassen haben, welche das Crawling steuert, gibt es eine Reihe alternativer Optionen: noindex
  in robots
• 404 Meta- 410 Tags::
  Sowohl in den HTTP-Antwort-Headern als auch in HTML unterstützt, ist die
• noindex -Regel der effektivste Weg, URLs aus dem Index zu entfernen, wenn Crawling erlaubt ist.
  undHTTP-Statuscodes
• Beide Statuscodes bedeuten, dass die Seite nicht existiert, wodurch solche URLs aus dem Google-Index entfernt werden, sobald sie gecrawlt und verarbeitet wurden. Passwortschutz: Sofern kein Markup verwendet wird, um: Abonnements oder Paywall-Inhalte
• zu kennzeichnen, führt das Verstecken einer Seite hinter einem Login im Allgemeinen dazu, dass sie aus dem Google-Index entfernt wird.:
  Disallow

in
robots.txtSuchmaschinen können nur Seiten indexieren, die ihnen bekannt sind. Das Blockieren der Seite beim Crawling bedeutet daher normalerweise, dass ihr Inhalt nicht indexiert wird. Obwohl die Suchmaschine eine URL auch basierend auf Links von anderen Seiten indexieren kann, ohne den Inhalt selbst zu sehen, möchten wir solche Seiten in Zukunft weniger sichtbar machen. Search Console-Tool zum Entfernen von URLs
Das Tool ist eine schnelle und einfache Methode, um eine URL vorübergehend aus den Google-Suchergebnissen zu entfernen. Weitere Anleitungen zum Entfernen von Informationen aus den Google-Suchergebnissen finden Sie in unseremHilfezenter . Wenn Sie Fragen haben, finden Sie uns auf Twitter

und in unserer Webmaster-Community