Duplicate Content durch Scraper

Montag, 9. Juni 2008

Da Duplicate Content ein heißes Thema unter Webmastern ist, dachten wir, es sei ein guter Zeitpunkt, um auf häufige Fragen einzugehen, die uns regelmäßig auf Konferenzen und in der
Google Webmaster-Hilfsgruppe.

Bevor wir eintauchen, möchte ich kurz auf ein Anliegen eingehen, das Webmaster oft äußern: In den meisten Fällen hat ein Webmaster keinen Einfluss auf Dritte, die Inhalte ohne Zustimmung des Webmasters scrapen und weiterverbreiten. Uns ist bewusst, dass dies nicht die Schuld des betroffenen Webmasters ist, was wiederum bedeutet, dass identische Inhalte, die auf mehreren Websites auftauchen, für sich genommen nicht grundsätzlich als Verstoß gegen unsere
Webmaster-Richtlinien.
Dies führt lediglich zu weiteren Prozessen mit dem Ziel, die Originalquelle des Inhalts zu ermitteln – etwas, das Google ziemlich gut kann, da in den meisten Fällen der Originalinhalte korrekt identifiziert werden kann, was zu keinen negativen Auswirkungen auf die Website führt, die den Inhalt ursprünglich erstellt hat.

Im Allgemeinen können wir zwischen zwei Hauptszenarien für Probleme im Zusammenhang mit Duplicate Content unterscheiden:

• Duplicate Content innerhalb der Domain, das heißt identischer Content, der (oft unbeabsichtigt) an mehr als einer Stelle auf Ihrer Website erscheint
• Domainübergreifender Duplicate Content, das heißt identischer Content Ihrer Website, der (wiederum oft unbeabsichtigt) auf verschiedenen externen Websites erscheint

Beim ersten Szenario können Sie die Dinge selbst in die Hand nehmen, um zu vermeiden, dass Google Duplicate Content auf Ihrer Website indexiert. Schauen Sie sich den Beitrag von Adam Lasnik an
Gekonnter Umgang mit Duplicate Content
und den von Vanessa Fox
Duplicate Content Summit bei SMX Advanced,
die Ihnen beide großartige Tipps geben, wie Sie Duplicate Content-Probleme innerhalb Ihrer Website lösen können. Hier ist ein zusätzlicher Tipp, um zu vermeiden, dass Inhalte auf Ihrer Website als Duplikate gecrawlt werden: Fügen Sie die bevorzugte Version Ihrer URLs in Ihre Sitemap-Datei ein. Wenn Sie auf verschiedene Seiten mit demselben Inhalt stoßen, kann dies die Wahrscheinlichkeit erhöhen, dass wir die von Ihnen bevorzugte Version ausliefern. Zusätzliche Informationen zu Duplicate Content finden Sie auch in unserem umfassenden
Hilfe-Center-Artikel
der dieses Thema behandelt.

Im zweiten Szenario haben Sie möglicherweise den Fall, dass jemand Ihre Inhalte scraped, um sie auf einer anderen Website zu platzieren, oft um damit Geld zu verdienen. Es ist auch üblich, dass viele Web-Proxys Teile von Websites indexieren, auf die über den Proxy zugegriffen wurde. Wenn wir solchen Duplicate Content auf verschiedenen Websites finden, betrachten wir verschiedene Signale, um zu bestimmen, welche Website die originale ist, was normalerweise sehr gut funktioniert. Das bedeutet auch, dass Sie sich keine Sorgen über negative Auswirkungen auf die Präsenz Ihrer Website bei Google machen sollten, wenn Sie feststellen, dass jemand Ihre Inhalte scraped.

In Fällen, in denen Sie Ihre Inhalte syndizieren, aber auch sicherstellen möchten, dass Ihre Website als Originalquelle identifiziert wird, ist es nützlich, Ihre Syndizierungspartner zu bitten, einen Link zurück zu Ihrem Originalinhalt einzufügen. Einige zusätzliche Tipps zum Umgang mit syndizierten Inhalten finden Sie in einem aktuellen Beitrag von Vanessa Fox,
Als Originalquelle für syndizierte Inhalte ranken.

Einige Webmaster haben gefragt, was dazu führen könnte, dass gescrapte Inhalte höher ranken als die Originalquelle. Das sollte ein seltener Fall sein, aber wenn Sie sich in dieser Situation befinden:

• Überprüfen Sie, ob Ihre Inhalte für unsere Crawler noch zugänglich sind. Möglicherweise haben Sie den Zugriff auf Teile Ihrer Inhalte in Ihrer robots.txt-Datei unbeabsichtigt blockiert.
• Sie können in Ihrer Sitemap-Datei nachsehen, ob Sie Änderungen für den spezifischen Inhalt vorgenommen haben, der gescraped wurde.
• Überprüfen Sie, ob Ihre Website unseren Webmaster-Richtlinien entspricht.

Zusammenfassend möchte ich darauf hinweisen, dass das Vorhandensein von Duplicate Content in den meisten Fällen keine negativen Auswirkungen auf die Präsenz Ihrer Website im Google-Index hat. Er wird einfach herausgefiltert. Wenn Sie sich einige der in den obigen Ressourcen genannten Tipps ansehen, lernen Sie im Grunde, wie Sie mehr Kontrolle darüber haben, was genau wir crawlen und indexieren und welche Versionen eher im Index erscheinen. Nur wenn es Signale gibt, die auf absichtliche und bösartige Absichten hindeuten, können Vorkommen von Duplicate Content als Verstoß gegen die Webmaster-Richtlinien angesehen werden.

Wenn Sie dieses Thema weiter diskutieren möchten, können Sie unsere besuchen
Webmaster-Hilfsgruppe.

Verfasst von Sven Naumann, Search Quality Team