Contenu dupliqué en raison de scrapers

Lundi 9 juin 2008

Le contenu dupliqué étant un sujet brûlant parmi les webmasters, nous avons pensé que c’était le bon moment pour aborder les questions fréquemment posées lors de conférences et sur le
Groupe d’aide pour webmasters de Google.

Avant d’entrer dans le vif du sujet, j’aimerais aborder brièvement une préoccupation souvent exprimée par les webmasters : dans la plupart des cas, un webmaster n’a aucune influence sur les tiers qui aspirent et redistribuent du contenu sans son consentement. Nous sommes conscients que ce n’est pas la faute du webmaster concerné, ce qui signifie qu’un contenu identique apparaissant sur plusieurs sites n’est pas considéré en soi comme une violation de nos
consignes aux webmasters.
Cela entraîne simplement des processus supplémentaires visant à déterminer la source originale du contenu — ce que Google fait plutôt bien, car dans la plupart des cas, le contenu original peut être correctement identifié, ce qui n’entraîne aucun effet négatif pour le site à l’origine du contenu.

En général, nous pouvons distinguer deux scénarios principaux pour les problèmes liés au contenu dupliqué :

• Contenu dupliqué au sein du domaine, c’est-à-dire du contenu identique qui apparaît (souvent involontairement) à plusieurs endroits sur votre site
• Contenu dupliqué inter-domaines, c’est-à-dire du contenu identique de votre site qui apparaît (là encore, souvent involontairement) sur différents sites externes

Dans le premier scénario, vous pouvez prendre les choses en main pour éviter que Google n’indexe du contenu dupliqué sur votre site. Consultez l’article d’Adam Lasnik
Gérer habilement le contenu dupliqué
et celui de Vanessa Fox
Sommet sur le contenu dupliqué chez SMX Advanced,
qui vous donnent tous deux d’excellents conseils sur la manière de résoudre les problèmes de contenu dupliqué au sein de votre site. Voici un conseil supplémentaire pour éviter que le contenu de votre site ne soit exploré comme dupliqué : incluez la version préférée de vos URL dans votre fichier Sitemap. Lorsque vous rencontrez différentes pages avec le même contenu, cela peut aider à augmenter la probabilité que nous diffusions la version que vous préférez. Des informations supplémentaires sur le contenu dupliqué sont également disponibles dans notre article complet
Article du Centre d’aide
discutant de ce sujet.

Dans le deuxième scénario, vous pouvez vous retrouver dans le cas où quelqu’un aspire votre contenu pour le placer sur un autre site, souvent pour essayer de le monétiser. Il est également courant que de nombreux proxys web indexent des parties de sites auxquels on a accédé via le proxy. Lorsque nous rencontrons un tel contenu dupliqué sur différents sites, nous examinons divers signaux pour déterminer quel site est l’original, ce qui fonctionne généralement très bien. Cela signifie également que vous ne devez pas vous inquiéter outre mesure de voir des effets négatifs sur la présence de votre site sur Google si vous remarquez que quelqu’un aspire votre contenu.

Dans les cas où vous syndiquez votre contenu mais souhaitez également vous assurer que votre site est identifié comme la source originale, il est utile de demander à vos partenaires de syndication d’inclure un lien vers votre contenu d’origine. Vous trouverez des conseils supplémentaires sur la gestion du contenu syndiqué dans un article récent de Vanessa Fox,
Se positionner comme la source originale pour le contenu que vous syndiquez.

Certains webmasters ont demandé ce qui pourrait amener du contenu aspiré à se classer plus haut que la source originale. Cela devrait être un cas rare, mais si vous vous trouvez dans cette situation :

• Vérifiez si votre contenu est toujours accessible à nos robots d’exploration. Vous avez peut-être bloqué par inadvertance l’accès à certaines parties de votre contenu dans votre fichier robots.txt.
• Vous pouvez consulter votre fichier Sitemap pour voir si vous avez apporté des modifications au contenu particulier qui a été aspiré.
• Vérifiez si votre site est conforme à nos consignes aux webmasters.

Pour conclure, j’aimerais souligner que dans la majorité des cas, avoir du contenu dupliqué n’a pas d’effets négatifs sur la présence de votre site dans l’index de Google. Il est simplement filtré. Si vous consultez certains des conseils mentionnés dans les ressources ci-dessus, vous apprendrez essentiellement à mieux contrôler ce que nous explorons et indexons exactement, et quelles versions sont les plus susceptibles d’apparaître dans l’index. Ce n’est que lorsqu’il y des signaux indiquant une intention délibérée et malveillante que des occurrences de contenu dupliqué peuvent être considérées comme une violation des consignes aux webmasters.

Si vous souhaitez discuter davantage de ce sujet, vous pouvez visiter notre
Groupe d’aide pour webmasters.

Écrit par Sven Naumann, Équipe Qualité de la recherche