Google, дублированный контент, вызванный параметрами URL, и вы

Среда, 12 сентября 2007 г.

Как параметры URL, такие как идентификаторы сеансов (session IDs) или идентификаторы отслеживания (tracking IDs), могут вызывать появление дублированного контента?

Когда информация о пользователе и/или данные отслеживания сохраняются через параметры URL, может возникать дублированный контент, поскольку доступ к одной и той же странице возможен по многочисленным URL-адресам. Именно это Адам Ласник (Adam Lasnik) назвал в статье Deftly Dealing with Duplicate Content «товарами в магазине, отображаемыми (и, что еще хуже, на которые ссылаются) через несколько различных URL-адресов». В примере ниже параметры URL создают три URL-адреса, которые ведут на одну и ту же страницу товара.

Почему вас это должно бесполноить?

Когда поисковые системы сканируют идентичный контент по разным URL-адресам, это может иметь несколько негативных последствий:

1. Наличие нескольких URL может размывать ссылочную популярность (link popularity). Например, на диаграмме выше вместо 50 ссылок на нужный вам отображаемый URL эти 50 ссылок могут разделиться на три части между тремя разными URL.
2. В результатах поиска могут отображаться неудобные для пользователей URL-адреса (длинные URL-адреса с идентификаторами отслеживания, идентификаторами сеансов).
   • Снижает вероятность того, что пользователь выберет этот результат.
   • Ослабляет усилия по брендингу.

Как мы помогаем пользователям и веб-мастерам справляться с дублированным контентом

Мы разработали алгоритмы, предотвращающие негативное влияние дублированного контента на веб-мастеров и пользовательский опыт.

1. Когда мы обнаруживаем дублированный контент, например, вызванный вариациями параметров URL, мы объединяем дублирующиеся URL в один кластер.
2. Мы выбираем то, что считаем «лучшим» URL-адресом для представления этого кластера в результатах поиска.
3. Затем мы объединяем свойства URL-адресов в кластере (такие как ссылочная популярность) с представительским URL.

Консолидация свойств дубликатов в один представительский URL часто предоставляет пользователям более точные результаты поиска.

Если вы обнаружили у себя дублированный контент, как описано выше, можете ли вы помочь поисковым системам понять ваш сайт?

Во-первых, не беспокойтесь: в Интернете есть много сайтов, которые используют параметры URL по вполне уважительным причинам. Но да, вы можете помочь снизить потенциальные проблемы для поисковых систем следующими способами:

• Удалив ненужные параметры URL — делайте URL как можно более чистыми.
• Отправив Sitemap
  с канонической (то есть представительской) версией каждого URL. Хотя мы не можем гарантировать, что наши алгоритмы отобразят URL из Sitemap в результатах поиска, указать каноническое предпочтение полезно.

Как спроектировать сайт для уменьшения количества дублированного контента?

Из-за того, как Google обрабатывает дублированный контент, веб-мастерам не стоит слишком сильно беспокоиться о потере ссылочной популярности или PageRank из-за дублирования. Тем не менее, для более общего сокращения дублированного контента мы рекомендуем:

1. При отслеживании информации о посетителях используйте 301 редиректы для перенаправления URL с такими параметрами, как
   affiliateID, trackingIDи т.д., на каноническую версию.
2. Используйте файл cookie для установки значений affiliateID и trackingID .

Если вы будете следовать этой рекомендации, логи вашего веб-сервера могут выглядеть следующим образом:

А файл сеанса, хранящий необработанную информацию cookie, может выглядеть так:

Обратите внимание: если ваш сайт использует файлы cookie, ваш контент (например, страницы товаров) должен оставаться доступным и при отключенных файлах cookie.

Как мы можем помочь вам в будущем?

Недавно мы опубликовали идеи с конференции
SMX Advanced
о том, как поисковые системы могут помочь веб-мастерам с дублированным контентом. Если у вас есть мнение по этому поводу, пожалуйста, присоединяйтесь к нашему обсуждению в
Webmaster Help Group
(мы уже создали эту ветку обсуждения).

Автор: Maile Ohye