Дублированный контент из-за скраперов

Понедельник, 9 июня 2008 г.

Поскольку дублированный контент является горячей темой среди вебмастеров, мы подумали, что сейчас самое время ответить на частые вопросы, которые нам регулярно задают на конференциях и в
Группа помощи вебмастерам Google.

Прежде чем углубляться, я хотел бы вкратце коснуться проблемы, которую часто озвучивают вебмастера: в большинстве случаев вебмастер не имеет влияния на третьих лиц, которые копируют и перераспределяют контент без согласия вебмастера. Мы понимаем, что в этом нет вины пострадавшего вебмастера, а это в свою очередь означает, что появление идентичного контента на нескольких сайтах само по себе не считается нарушением наших
рекомендации для вебмастеров.
Это просто приводит к дальнейшим процессам с целью определения первоисточника контента — тому, с чем Google справляется довольно хорошо, так как в большинстве случаев первоисточник может быть определен правильно, что не приводит к каким-либо негативным последствиям для сайта, создавшего контент.

Как правило, мы можем выделить два основных сценария возникновения проблем с дублированным контентом:

• Дублированный контент в пределах домена, то есть идентичный контент, который (часто непреднамеренно) появляется в нескольких местах на вашем сайте
• Междоменный дублированный контент, то есть идентичный контент вашего сайта, который появляется (опять же, часто непреднамеренно) на различных внешних сайтах

В первом сценарии вы можете взять дело в свои руки, чтобы избежать индексации дублированного контента Google на вашем сайте. Ознакомьтесь со статьей Адама Ласника
Умелое обращение с дублированным контентом
и статьей Ванессы Фокс
Саммит по дублированному контенту на SMX Advanced,
обе они дают отличные советы о том, как решить проблемы с дублированным контентом на вашем сайте. Вот один дополнительный совет, который поможет избежать сканирования контента на вашем сайте как дубликата: укажите предпочитаемую версию ваших URL-адресов в файле Sitemap. При обнаружении разных страниц с одинаковым контентом это может повысить вероятность того, что мы будем показывать ту версию, которую вы предпочитаете. Дополнительную информацию о дублированном контенте можно также найти в нашей подробной
статье Справочного центра
посвященной этой теме.

Во втором сценарии вы можете столкнуться с тем, что кто-то копирует ваш контент для размещения на другом сайте, часто пытаясь его монетизировать. Также часты случаи, когда многие веб-прокси индексируют части сайтов, к которым осуществлялся доступ через прокси. Обнаруживая такой дублированный контент на разных сайтах, мы смотрим на различные сигналы, чтобы определить, какой сайт является оригинальным, что обычно работает очень хорошо. Это также означает, что вам не стоит сильно беспокоиться о негативных последствиях для присутствия вашего сайта в Google, если вы заметите, что кто-то копирует ваш контент.

В тех случаях, когда вы занимаетесь синдикацией контента, но также хотите убедиться, что ваш сайт определен как первоисточник, полезно попросить партнеров по синдикации добавить ссылку на ваш оригинальный контент. Некоторые дополнительные советы по работе с синдицированным контентом можно найти в недавней статье Ванессы Фокс,
Ранжирование в качестве первоисточника для синдицируемого контента.

Некоторые вебмастера спрашивали, что может заставить скопированный контент занимать более высокие позиции, чем первоисточник. Это должно быть редким случаем, но если вы оказались в такой ситуации:

• Убедитесь, что ваш контент по-прежнему доступен для наших сканеров. Возможно, вы непреднамеренно заблокировали доступ к частям вашего контента в файле robots.txt.
• Вы можете заглянуть в файл Sitemap, чтобы узнать, не вносили ли вы изменения в конкретный контент, который был скопирован.
• Проверьте, соответствует ли ваш сайт нашим рекомендациям для вебмастеров.

В заключение я хотел бы отметить, что в большинстве случаев наличие дублированного контента не оказывает негативного влияния на присутствие вашего сайта в индексе Google. Он просто отфильтровывается. Если вы ознакомитесь с некоторыми советами, упомянутыми в ресурсах выше, вы в основном узнаете, как лучше контролировать то, что именно мы сканируем и индексируем, и какие версии с большей вероятностью появятся в индексе. Только когда есть сигналы, указывающие на умышленный и злонамеренный умысел, появление дублированного контента может рассматриваться как нарушение рекомендаций для вебмастеров.

Если вы хотите продолжить обсуждение этой темы, вы можете посетить нашу
Группа помощи вебмастерам.

Автор: Свен Науманн, команда качества поиска