Gekonnter Umgang mit Duplicate Content

Montag, 18. Dezember 2006

Auf der kürzlich stattgefundenen Search Engine Strategies-Konferenz im eiskalten Chicago wurden vielen von uns Googlers Fragen zu Duplicate Content gestellt. Uns ist bewusst, dass es zu diesem Thema viele Nuancen und einiges an Verwirrung gibt, daher möchten wir für Klarheit sorgen.

Was ist Duplicate Content?

Duplicate Content bezieht sich im Allgemeinen auf wesentliche Inhaltsblöcke innerhalb oder über Domains hinweg, die entweder vollständig mit anderen Inhalten übereinstimmen oder sich stark ähneln. Meistens ist dies unbeabsichtigt oder zumindest nicht böswillig: Foren, die sowohl reguläre als auch abgespeckte, für Mobilgeräte optimierte Seiten generieren, Shop-Artikel, die über mehrere verschiedene URLs angezeigt (und – noch schlimmer – verlinkt) werden, und so weiter. In einigen Fällen werden Inhalte domänenübergreifend dupliziert, um Suchmaschinen-Rankings zu manipulieren oder mehr Traffic über beliebte oder Long-Tail-Suchanfragen zu generieren.

Was ist kein Duplicate Content?

Obwohl wir
ein praktisches Übersetzungstoolanbieten, sehen unsere Algorithmen denselben Artikel auf Englisch und Spanisch nicht als Duplicate Content an. Ebenso müssen Sie sich keine Sorgen machen, dass gelegentliche Snippets (Zitate oder Ähnliches) als Duplicate Content eingestuft werden.

Warum kümmert sich Google um Duplicate Content?

Unsere Nutzer möchten bei ihren Suchen in der Regel einen vielfältigen Querschnitt an einzigartigen Inhalten sehen. Umgekehrt sind sie verständlicherweise genervt, wenn sie in den Suchergebnissen im Wesentlichen denselben Inhalt sehen. Webmaster werden auch traurig, wenn wir eine komplexe URL anzeigen (example.com/contentredir?value=shorty-george〈=en) anstelle der bevorzugten hübschen URL (example.com/en/shorty-george).

Was tut Google dagegen?

Beim Crawling und beim Ausspielen von Suchergebnissen bemühen wir uns nach Kräften, Seiten mit unterschiedlichen Informationen zu indexieren und anzuzeigen. Diese Filterung bedeutet zum Beispiel, dass wenn Ihre Website Artikel in einer „regulären“ und einer „Druck“-Version hat und keine von beiden in der robots.txt oder über ein noindex-Meta-Tag blockiert ist, wir eine Version zur Auflistung auswählen. In den seltenen Fällen, in denen wir feststellen, dass Duplicate Content in der Absicht angezeigt wird, unsere Rankings zu manipulieren und unsere Nutzer zu täuschen, nehmen wir auch entsprechende Anpassungen bei der Indexierung und dem Ranking der betroffenen Websites vor. Wir ziehen es jedoch vor, uns auf das Filtern statt auf Ranking-Anpassungen zu konzentrieren… so ist in der überwiegenden Mehrheit der Fälle das Schlimmste, was Webmaster erleben, dass die „weniger erwünschte“ Version einer Seite in unserem Index angezeigt wird.

Wie können Webmaster proaktiv gegen Probleme mit Duplicate Content vorgehen?

• Blockieren Sie angemessen: Anstatt unsere Algorithmen die „beste“ Version eines Dokuments bestimmen zu lassen, möchten Sie uns vielleicht dabei helfen, zu Ihrer bevorzugten Version zu leiten. Wenn Sie beispielsweise nicht möchten, dass wir die Druckversionen der Artikel Ihrer Website indexieren, sperren Sie diese Verzeichnisse oder verwenden Sie reguläre Ausdrücke in Ihrer robots.txt-Datei.
• Verwenden Sie 301 Weiterleitungen: Wenn Sie Ihre Website umstrukturiert haben,
  verwenden Sie 301 Weiterleitungen
  (RedirectPermanent) in Ihrer .htaccess -Datei, um Nutzer, den Googlebot und andere Crawler intelligent weiterzuleiten.
• Seien Sie konsistent: Bemühen Sie sich, Ihre interne Verlinkung konsistent zu halten; verlinken Sie nicht auf
  /page/ und /page und /page/index.htm.
• Verwenden Sie TLDs: Um uns zu helfen, die am besten geeignete Version eines Dokuments bereitzustellen, verwenden Sie nach Möglichkeit Top-Level-Domains, um länderspezifische Inhalte zu verwalten. Wir wissen zum Beispiel mit höherer Wahrscheinlichkeit, dass
  .de auf Deutschland-fokussierte Inhalte hinweist, als /de oder
  de.example.com.
• Syndizieren Sie sorgfältig: Wenn Sie Ihre Inhalte auf anderen Websites syndizieren, stellen Sie sicher, dass diese bei jedem syndizierten Artikel einen Link zurück zum Originalartikel enthalten. Beachten Sie jedoch selbst dann, dass wir immer die (nicht blockierte) Version anzeigen, die wir für die Nutzer bei jeder bestimmten Suche für am besten geeignet halten, was möglicherweise die von Ihnen bevorzugte Version ist oder auch nicht.
• Nutzen Sie die Funktion „Bevorzugte Domain“ in den Webmaster Tools: Wenn andere Websites auf Ihre verlinken und dabei sowohl die www- als auch die Nicht-www-Version Ihrer URLs verwenden, können Sie uns mitteilen, wie Ihre Website bevorzugt indexiert werden soll.
• Boilerplate-Wiederholungen minimieren: Anstatt beispielsweise am Ende jeder Seite einen langen Copyright-Text einzufügen, fügen Sie eine sehr kurze Zusammenfassung ein und verlinken Sie dann auf eine Seite mit weiteren Details.
• Vermeiden Sie die Veröffentlichung von Stubs: Nutzer sehen nicht gerne „leere“ Seiten, vermeiden Sie daher Platzhalter, wo immer dies möglich ist. Das bedeutet, Seiten mit null Bewertungen, keinen Immobilienangeboten usw. nicht zu veröffentlichen (oder zumindest zu blockieren), damit Nutzer (und Bots) nicht mit unzähligen Instanzen von „Unten finden Sie eine hervorragende Liste aller großartigen Mietangebote in [Stadtnamen einfügen]…“ ohne tatsächliche Angebote konfrontiert werden.
• Verstehen Sie Ihr CMS: Stellen Sie sicher, dass Sie mit der Art und Weise vertraut sind, wie Inhalte auf Ihrer Website angezeigt werden, insbesondere wenn sie einen Blog, ein Forum oder ein ähnliches System enthält, das häufig denselben Inhalt in mehreren Formaten anzeigt.
• Machen Sie sich keine Sorgen, seien Sie glücklich: Ärgern Sie sich nicht zu sehr über Websites, die Ihre Inhalte scrapen (widerrechtlich aneignen und republizieren). Obwohl ärgerlich, ist es äußerst unwahrscheinlich, dass solche Websites die Präsenz Ihrer Website bei Google negativ beeinflussen können. Wenn Sie einen besonders frustrierenden Fall entdecken,
  DMCA-Anfrage
  können Sie gerne einreichen, um das Eigentum an den Inhalten zu beanspruchen und uns dazu bringen, gegen die betrügerische Website vorzugehen.

Kurz gesagt, ein allgemeines Bewusstsein für Duplicate Content-Probleme und ein paar Minuten durchdachter präventiver Wartung sollten Ihnen helfen, uns dabei zu unterstützen, Nutzern einzigartige und relevante Inhalte bereitzustellen.