Искусное обращение с дублированным контентом

Понедельник, 18 декабря 2006 г.

На недавней конференции Search Engine Strategies в замерзающем Чикаго многим из нас, сотрудникам Google, задавали вопросы о дублированном контенте. Мы признаем, что в этой теме много нюансов и определенной путаницы, поэтому мы хотели бы помочь расставить все точки над i.

Что такое дублированный контент?

Дублированный контент обычно относится к существенным блокам контента внутри доменов или между ними, которые либо полностью совпадают с другим контентом, либо заметно похожи на него. Большую часть времени, когда мы это видим, это происходит непреднамеренно или, по крайней мере, не имеет злонамеренного происхождения: форумы, которые генерируют как обычные, так и упрощенные мобильные страницы, элементы магазинов, отображаемые (и — что еще хуже — на которые ссылаются) через несколько разных URL-адресов, и так далее. В некоторых случаях контент дублируется на разных доменах в попытке манипулировать рейтингами поисковых систем или привлечь больше трафика с помощью популярных или длинных запросов.

Что не является дублированным контентом?

Хотя мы предлагаем
удобную утилиту перевода, наши алгоритмы не будут рассматривать одну и ту же статью, написанную на английском и испанском языках, как дублированный контент. Аналогичным образом, вам не стоит беспокоиться о том, что случайные фрагменты (цитаты и прочее) будут помечены как дублированный контент.

Почему Google волнует дублированный контент?

Наши пользователи обычно хотят видеть разнообразный срез уникального контента, когда они делают поисковые запросы. Напротив, они вполне понятно раздражаются, когда видят по сути один и тот же контент в наборе результатов поиска. Кроме того, веб-мастера расстраиваются, когда мы показываем сложный URL (example.com/contentredir?value=shorty-george〈=en) вместо красивого URL, которому они отдают предпочтение (example.com/en/shorty-george).

Что Google делает с этим?

Во время сканирования и при предоставлении результатов поиска мы изо всех сил стараемся индексировать и показывать страницы с уникальной информацией. Эта фильтрация означает, например, что если на вашем сайте есть статьи в «обычной» версии и версии «для печати» и ни один из наборов не заблокирован в robots.txt или с помощью метатега noindex, мы выберем для показа одну версию. В редких случаях, когда мы замечаем, что дублированный контент может отображаться с намерением манипулировать нашими рейтингами и вводить в заблуждение наших пользователей, мы также внесем соответствующие корректировки в индексирование и ранжирование затронутых сайтов. Тем не менее, мы предпочитаем сосредоточиться на фильтрации, а не на корректировке ранжирования… поэтому в подавляющем большинстве случаев худшее, что может случиться с веб-мастерами — это увидеть «менее желательную» версию страницы в нашем индексе.

Как веб-мастера могут превентивно решать проблемы с дублированным контентом?

• Блокируйте соответствующим образом: Вместо того чтобы позволять нашим алгоритмам определять «лучшую» версию документа, вы можете помочь нам направить пользователей к вашей предпочитаемой версии. Например, если вы не хотите, чтобы мы индексировали версии статей вашего сайта для печати, закройте эти каталоги для индексации или используйте регулярные выражения в вашем файле robots.txt.
• Используйте 301 редиректы: Если вы реструктурировали свой сайт,
  используйте 301 редиректы
  (RedirectPermanent) в вашем .htaccess файле для грамотного перенаправления пользователей, Googlebot и других поисковых роботов.
• Будьте последовательны: Старайтесь поддерживать последовательность внутренней перелинковки; не ссылайтесь на
  /page/ и /page и /page/index.htm.
• Используйте домены верхнего уровня (TLD): Чтобы помочь нам предоставлять наиболее подходящую версию документа, по возможности используйте домены верхнего уровня для управления контентом, ориентированным на конкретную страну. Мы с большей вероятностью будем знать, что
  .de указывает на контент, ориентированный на Германию, например, чем /de или
  de.example.com.
• Синдицируйте осторожно: Если вы синдицируете свой контент на других сайтах, убедитесь, что они включают ссылку обратно на оригинальную статью в каждой синдицированной статье. Даже в этом случае обратите внимание, что мы всегда будем показывать ту (не заблокированную) версию, которую считаем наиболее подходящей для пользователей в каждом конкретном поиске, что может быть или не быть версией, которой вы бы отдали предпочтение.
• Используйте функцию предпочитаемого домена в Инструментах для веб-мастеров: Если другие сайты ссылаются на ваш, используя как версию с www, так и без www, вы можете сообщить нам, какому варианту индексирования вашего сайта вы отдаете предпочтение.
• Минимизируйте повторение шаблонного текста: Например, вместо того чтобы включать длинный текст об авторских правах внизу каждой страницы, включите очень краткую сводку, а затем дайте ссылку на страницу с более подробной информацией.
• Избегайте публикации заглушек: Пользователям не нравится видеть «пустые» страницы, поэтому по возможности избегайте заполнителей. Это означает не публиковать (или по крайней мере блокировать) страницы с нулевым количеством отзывов, без объявлений о недвижимости и т.д., чтобы пользователи (и боты) не сталкивались с миллионом случаев вроде «Ниже вы найдете превосходный список всех отличных вариантов аренды в [вставьте название города]…» без каких-либо реальных объявлений.
• Разберитесь в вашей CMS: Убедитесь, что вы знакомы с тем, как контент отображается на вашем веб-сайте, особенно если он включает блог, форум или связанную систему, которая часто отображает один и тот же контент в нескольких форматах.
• Не беспокойтесь, будьте счастливы: Не слишком переживайте из-за сайтов, которые занимаются скрапингом (незаконным заимствованием и републикацией) вашего контента. Хотя это и раздражает, крайне маловероятно, что такие сайты смогут негативно повлиять на присутствие вашего сайта в Google. Если вы обнаружите особенно неприятный случай,
  DMCA-запрос
  вы можете подать, чтобы заявить права на контент и заставить нас разобраться с недобросовестным сайтом.

Короче говоря, общее понимание проблем с дублированным контентом и несколько минут продуманного профилактического обслуживания должны помочь вам помочь нам предоставлять пользователям уникальный и релевантный контент.