Управление правомерным дублированием контента между доменами

Вторник, 15 декабря 2009 г.

Недавно мы обсудили несколько способов
обработка дублирования контента на одном веб-сайте;
сегодня мы рассмотрим способы устранения аналогичного дублирования на разных веб-сайтах,
в разных доменах. Для некоторых сайтов существуют уважительные причины дублировать контент на
разных веб-сайтах — например, для миграции на новое доменное имя с использованием веб-сервера, который
не может создавать перенаправления на стороне сервера. Чтобы помочь с проблемами, возникающими на таких сайтах, мы объявляем о нашей поддержке
между доменами rel="canonical" ссылочный элемент.

Способы устранения дублирования контента между доменами:

• Выберите предпочитаемый домен
  При столкновении с дублированным контентом поисковые системы обычно берут одну версию и
  отфильтровывают остальные. Это также может произойти, когда задействовано несколько доменных имен, поэтому, хотя
  поисковые системы, как правило, довольно хорошо выбирают что-то разумное, многие веб-мастера
  предпочитают принимать это решение самостоятельно.
• Уменьшить дублирование на сайте
  Прежде чем приступать к вопросам дублирования контента на разных сайтах, убедитесь,
  управлять дублированием на вашем сайте
  первый.
• Включить обход и использование 301 (постоянные) перенаправления, где это возможно
  По возможности наиболее важным шагом часто является использование соответствующих
  301 перенаправления.
  Эти перенаправления отправляют посетителей и роботов поисковых систем на ваш предпочитаемый домен и делают
  очень четким указание того, какой URL-адрес следует индексировать. Обычно это предпочтительный метод, поскольку он дает четкие
  рекомендации всем, кто обращается к контенту. Имейте в виду, что для того, чтобы роботы поисковых систем
  обнаружили эти перенаправления, ни один из URL-адресов в цепочке перенаправлений не должен быть заблокирован
  через
  файл robots.txt.
  Не забудьте настроить предпочтение www / non-www с помощью соответствующих перенаправлений и в
  Инструменты для веб-мастеров.
• Используйте междоменные rel="canonical" ссылочный элемент
  Бывают ситуации, когда настроить перенаправление не так просто. Это может быть случай,
  когда вам нужно перенести свой веб-сайт с сервера, на котором нет перенаправлений на стороне сервера.
  В такой ситуации, ты можешь использовать
  rel="canonical" ссылочный элемент
  между доменами чтобы указать точный URL-адрес любого домена, предпочтительного для индексации. В то время как
  rel="canonical" элемент ссылки рассматривается как подсказка, а не как абсолютная команда, мы стараемся следовать ей, где это возможно.

Остались вопросы?

Должны ли страницы быть идентичными?
Нет, но они должны быть похожими. Небольшие различия допускаются.

По техническим причинам я не могу включить сопоставление 1:1 для URL-адресов на моих сайтах. Могу я просто
указывать rel="canonical" на главной странице вашего предпочитаемого сайта?
Нет; это может привести к проблемам. Сопоставление старого URL с новым URL для каждого URL на старом сайте
— лучший способ использовать rel="canonical".

Я предлагаю свой контент/описания продуктов для синдикации. Нужно ли моим издателям использовать
rel="canonical"?
Мы оставляем это на усмотрение вас и ваших издателей. Если контент достаточно похож, имеет смысл
использовать rel="canonical", если обе стороны согласны.

Мой сервер не может сделать 301 (постоянное) перенаправление. Могу я использовать
rel="canonical" чтобы перенести мой сайт?
Если это вообще возможно, вам следует поработать со своим хостингом или веб-сервером, чтобы сделать
301 перенаправление. Имейте в виду, что мы относимся к rel="canonical" как к подсказке,
и другие поисковые системы могут обрабатывать ее по-другому. Но если 301 перенаправление по какой-то причине невозможно, то rel="canonical" может вам подойти. Для получения дополнительной
информации см. наши
рекомендации по переносу сайта.

Должен ли я использовать noindex роботы
мета тег
на страницах с rel="canonical" ссылочный элемент?
Нет, так как эти страницы не будут эквивалентными с точки зрения индексации — одна будет разрешена,
а другая будет заблокирована. Кроме того, важно, чтобы для этих страниц не был
запрещен обход через файл robots.txt, иначе роботы поисковых систем не смогут обнаружить rel="canonical" ссылочный элемент.

Мы надеемся, что это облегчит вам работу с дублированным контентом удобным для пользователя способом. Есть ли
еще места, где, по вашему мнению, дублированный контент создает проблемы для ваших сайтов? Дайте нам
знать в
Форум справки для веб-мастеров!

Опубликовано
Джон Мюллер,
Аналитик тенденций веб-мастеров, Google Цюрих