Dienstag, 3. Juni 2008
Webpublisher fragen uns oft, wie sie ihre Sichtbarkeit im Web maximieren können. Vieles davon hat mit Suchmaschinenoptimierung zu tun – also sicherzustellen, dass die Inhalte eines Publishers in allen Suchmaschinen angezeigt werden.
Es gibt jedoch einige Fälle, in denen Publisher den Suchmaschinen zusätzliche Informationen mitteilen müssen – wie zum Beispiel die Tatsache, dass sie nicht möchten, dass bestimmte Inhalte in den Suchergebnissen erscheinen. Und dafür nutzen sie etwas namens
Robots Exclusion Protocol (REP), mit dem Publisher steuern können, wie Suchmaschinen auf ihre Website zugreifen: sei es durch die Steuerung der Sichtbarkeit ihrer Inhalte auf der Website (über robots.txt) oder auf einer viel detaillierteren Ebene für einzelne Seiten (über Meta -Tags).
Seit seiner Einführung in den frühen 90er Jahren hat sich REP zum De-facto-Standard entwickelt, mit dem Webpublisher festlegen, welche Teile ihrer Website öffentlich und welche privat bleiben sollen. Heute nutzen Millionen von Publishern REP als einfache und effiziente Möglichkeit, mit Suchmaschinen zu kommunizieren. Seine Stärke liegt in seiner Flexibilität, sich parallel zum Web weiterzuentwickeln, seiner universellen Implementierung bei den großen Suchmachinen und allen wichtigen Robotern sowie in der Art und Weise, wie es für jeden Publisher funktioniert, egal wie groß oder klein.
Obwohl REP von praktisch allen Suchmaschinen beachtet wird, haben wir uns nie zusammengesetzt, um zu detaillieren, wie wir die verschiedenen Tags jeweils interpretieren. In den letzten Jahren haben wir mit Microsoft und Yahoo! zusammengearbeitet, um Standards wie
Sitemaps
voranzubringen und zusätzliche Tools für Webmaster anzubieten. Seit der ursprünglichen Ankündigung haben wir weitere Verbesserungen basierend auf den Rückmeldungen der Community geliefert und werden dies auch weiterhin tun.
Heute, im selben Geist, das Leben von Webmastern einfacher zu machen, veröffentlichen wir eine detaillierte Dokumentation darüber, wie wir REP implementieren. Dies sorgt für eine gemeinsame Implementierung für Webmaster und macht es für jeden Publisher einfacher zu wissen, wie seine REP-Regeln von den drei großen Suchanbietern behandelt werden – wodurch REP intuitiver und freundlicher für noch mehr Publisher im Web wird.
Also, ohne weiteres…
Allgemeine REP-Regeln
Die folgende Liste enthält alle wichtigen REP-Funktionen, die derzeit von Google, Microsoft und Yahoo! implementiert werden. Bei jeder Funktion sehen Sie, was sie tut und wie Sie sie kommunizieren sollten.
Jede dieser Regeln kann so festgelegt werden, dass sie für alle Crawler oder für spezifische Crawler gilt, indem sie auf bestimmte User-Agents ausgerichtet werden, über die sich jeder Crawler identifiziert. Abgesehen von der Identifizierung durch den User-Agent unterstützt jeder unserer Crawler auch die auf Reverse DNS basierende Authentifizierung, sodass Sie die Identität des Crawlers überprüfen können.
Robots.txt-Regeln
| Regel | Auswirkungen | Anwendungsfälle |
Disallow | Teilt einem Crawler mit, dass er Ihre Website nicht indexieren soll – die robots.txt-Datei Ihrer Website muss jedoch weiterhin gecrawlt werden, um diese Regel zu finden, wobei nicht zugelassene Seiten jedoch nicht gecrawlt werden | ‘Kein Crawling’-Seite von einer Website. Diese Regel in der Standard syntax verhindert, dass bestimmte Pfade einer Website gecrawlt werden. |
Allow | Teilt einem Crawler die spezifischen Seiten auf Ihrer Website mit, die Sie indexiert haben möchten, sodass Sie dies in Kombination mit Disallow verwenden können | Dies ist insbesondere in Verbindung mit Disallow-Klauseln nützlich, bei denen ein großer Teil einer Website gesperrt ist, mit Ausnahme eines kleinen Abschnitts darin. |
$ Wildcard-Unterstützung | Teilt einem Crawler mit, dass er alles ab dem Ende einer URL abgleichen soll – große Anzahl von Verzeichnissen, ohne bestimmte Seiten anzugeben | ‘Kein Crawling’-Dateien mit bestimmten Mustern, zum Beispiel Dateien mit bestimmten Dateitypen, die immer eine bestimmte Erweiterung haben, z. B. pdf |
* Wildcard-Unterstützung | Teilt einem Crawler mit, dass er eine Sequenz von Zeichen abgleichen soll | ‘Kein Crawling’-URLs mit bestimmten Mustern, zum Beispiel URLs mit Sitzungs-IDs oder anderen überflüssigen Parametern nicht zulassen |
Sitemaps Standort | Teilt einem Crawler mit, wo er Ihre Sitemaps finden kann | Verweisen Sie auf andere Speicherorte, an denen Feeds vorhanden sind, um Crawlern zu helfen, URLs auf einer Website zu finden |
HTML Meta -Regeln
| Regel | Auswirkungen | Anwendungsfälle |
noindex Meta -Tag | Teilt einem Crawler mit, dass er eine bestimmte Seite nicht indexieren soll | Indexieren Sie die Seite nicht. Dadurch können gecrawlte Seiten aus dem Index herausgehalten werden. |
nofollow Meta -Tag | Teilt einem Crawler mit, dass er einem Link zu anderen Inhalten auf einer bestimmten Seite nicht folgen soll | Verhindern Sie, dass öffentlich beschreibbare Bereiche von Spammern missbraucht werden, die Link-Credit suchen. Durch die Verwendung vonnofollow lassen Sie den Roboter wissen, dass Sie alle ausgehenden Links von dieser Seite außer Acht lassen |
nosnippet Meta -Tag | Teilt einem Crawler mit, dass er keine Snippets in den Suchergebnissen für eine bestimmte Seite anzeigen soll | Kein Snippet für die Seite in den Suchergebnissen anzeigen |
noarchive Meta -Tag | Teilt einer Suchmaschine mit, dass sie keinen “im Cache gespeicherten” Link für eine bestimmte Seite anzeigen soll | Stellen Sie Benutzern keine Kopie der Seite aus dem Suchmaschinen-Cache zur Verfügung |
noodp Meta -Tag | Teilt einem Crawler mit, dass er keinen Titel und kein Snippet aus dem Open Directory Project für eine bestimmte Seite verwenden soll | Verwenden Sie nicht den ODP-Titel (Open Directory Project) und das Snippet für diese Seite |
Diese Regeln gelten für alle Inhaltsformen. Sie können entweder im HTML einer Seite oder im HTTP-Header für Nicht-HTML-Inhalte platziert werden, z. B. PDF, Video usw., unter Verwendung eines
X-Robots-Tag. Sie können hier mehr darüber lesen:
X-Robots-Tag Beitrag oder in
es
über die Verwendung von Robotern und
unsere Beitragsreihe Meta -Tags.
Weitere REP-Regeln
Die oben aufgeführten Regeln werden von Microsoft, Google und Yahoo! verwendet, werden jedoch möglicherweise nicht von allen anderen Suchmaschinen implementiert. Darüber hinaus werden die folgenden Regeln von Google unterstützt, werden jedoch nicht von allen drei unterstützt wie die oben genannten:
unavailable_after Meta -Tag – Teilt einem Crawler mit,
wann eine Seite “ablaufen” soll,also nach welchem Datum sie in den Suchergebnissen nicht mehr angezeigt werden soll.
noimageindex Meta -Tag – Teilt einem Crawler mit,
Bilder für eine bestimmte Seite nicht
in den Suchergebnissen zu indizieren.
notranslate Meta -Tag – Teilt einem Crawler mit,
den Inhalt einer Seite nicht in andere Sprachen zu übersetzen
für Suchergebnisse.
In Zukunft planen wir, weiterhin zusammenzuarbeiten, um sicherzustellen, dass wir es Webmastern so einfach wie möglich machen, neue Anwendungsfälle von REP zu nutzen, sobald sie entstehen. Seien Sie also gespannt auf mehr!
Mehr erfahren
Erfahren Sie mehr über robots.txt in unserer
Dokumentation und im
Google Webmaster-Hilfezentrum,das viele nützliche Informationen enthält, darunter:
- So erstellen Sie eine robots.txt-Datei
- Beschreibungen jedes von Google verwendeten User-Agents
- So verwenden Sie Pattern Matching
- Wie oft wir Ihre robots.txt-Datei erneut crawlen
Wir haben auch mehrere Beiträge in unserem Webmaster-Blog über robots.txt veröffentlicht, die Sie vielleicht nützlich finden, wie zum Beispiel:
Es gibt auch eine
nützliche Liste der Bots,
die von den großen Suchmaschinen verwendet werden.
Um zu sehen, was unsere Kollegen zu sagen haben, können Sie sich auch die Blogbeiträge ansehen, die von
Yahoo! und
Microsoft.
So setzen wir das um
Google announcements age. We keep this post here for the record, and we note for clients whether the behaviour it describes still applies today or has since been superseded.
Verwandte Leistungen