Саммит по дублированному контенту на SMX Advanced

Среда, 13 июня 2007 г.

На прошлой неделе я участвовал в саммите по дублированному контенту на
SMX Advanced.
Я не смог удержаться от возможности показать,
как Buffy применим к повседневному миру поискового маркетинга,
но в основном я был там, чтобы получить от вас отзывы о проблемах с дублированием контента, с которыми вы сталкиваетесь, и устроить мозговой штурм о том, как поисковые системы могут помочь.

Несколько месяцев назад Адам написал отличный пост о
том, как бороться с дублированным контентом.
Самое главное, что нужно знать о дублированном контенте:

• Google хочет выдавать уникальные результаты и отлично справляется с выбором версии вашего контента для показа, если ваши сайты содержат дубликаты. Если вы не хотите беспокоиться о сортировке дубликатов на своем сайте, вы можете вместо этого позволить нам позаботиться об этом.
• Дублированный контент не приводит к пенальти для вашего сайта. Если будут обнаружены дублирующиеся страницы, в результатах поиска будет возвращена одна версия для обеспечения разнообразия для пользователей.
• Дублированный контент не приводит к попаданию вашего сайта в дополнительный индекс. Тем не менее, дублирование может косвенно повлиять на это, если ссылки на ваши страницы распределены между различными версиями, что приводит к более низкому показателю PageRank для каждой страницы.

На саммите на SMX Advanced мы спросили, какие проблемы с дублированным контентом вызывают наибольшее беспокойство. Присутствующих беспокоили сайты-скрейперы, синдикация и внутреннее дублирование. Мы обсудили множество потенциальных решений этих проблем и обязательно рассмотрим эти варианты наряду с другими по мере дальнейшего развития нашего набора инструментов. Вот список некоторых потенциальных решений, которые мы обсудили, чтобы те из вас, кто не смог присутствовать, смогли присоединиться к беседе.

Указание предпочтительной версии URL в файле Sitemap сайта

Одна из вещей, которые мы обсудили, — это возможность указания предпочтительной версии URL в файле Sitemap, с предложением о том, что если мы столкнемся с несколькими URL, указывающими на один и тот же контент, мы могли бы объединить ссылки на эту страницу и проиндексировать предпочтительную версию.

Предоставление метода указания параметров, которые должны удаляться из URL во время индексации

Мы обсудили предоставление этого либо в интерфейсе, таком как Webmaster Tools, либо в файле robots.txt сайта. Например, если URL содержит идентификаторы сеансов, вебмастер может указать переменную для идентификатора сеанса, что поможет поисковым системам проиндексировать чистую версию URL и объединить ссылки на нее. Аудитория склонялась к добавлению этого в robots.txt.

Предоставление способа подтверждения права собственности на контент

Это предоставит поисковым системам дополнительную информацию, которая поможет гарантировать, что мы индексируем исходную версию статьи, а не скопированную или синдицированную. Обратите внимание, что сейчас мы неплохо с этим справляемся, и немногие люди в аудитории упомянули это как главную проблему. Тем не менее, аудитория была заинтересована в способе подтверждения контента в качестве дополнительной защиты. Некоторые предлагали использовать страницу с самой ранней датой, но даты создания не всегда надежны. Кто-то также предложил разрешить владельцам сайтов регистрировать контент, хотя это тоже может вызвать проблемы, так как неопытные владельцы сайтов не будут знать, что нужно регистрировать контент, и кто-то другой может взять контент и зарегистрировать его вместо этого. В настоящее время мы полагаемся на ряд факторов, таких как авторитет сайта и количество ссылок на страницу. Если вы синдицируете контент, мы предлагаем вам попросить сайты, которые используют ваш контент, заблокировать свою версию с помощью файла robots.txt в рамках соглашения о синдикации, чтобы помочь гарантировать, что ваша версия будет выдаваться в результатах.

Предоставление отчета о дублированном контенте для владельцев сайтов

Была оказана большая поддержка идее отчета о дублированном контенте, в котором будут перечислены страницы на сайте, которые поисковые системы считают дубликатами, а также страницы, которые считаются дубликатами страниц на других сайтах. Кроме того, мы обсудили возможность добавления системы оповещений в этот отчет, чтобы владельцы сайтов могли получать уведомления по электронной почте или через RSS о новых проблемах дублирования (в частности, внешнего дублирования).

Работа с блог-платформами и системами управления контентом для решения проблем с дублированным контентом

Некоторые проблемы с дублированным контентом на сайте связаны с тем, как программное обеспечение, управляющее сайтом, структурирует URL. Например, в блоге может быть один и тот же контент на главной странице, странице постоянной ссылки (permalink), странице категории и странице архива. Мы определенно открыты для общения с производителями программного обеспечения о лучшем способе предоставления простых решений для создателей контента.

В дополнение к обсуждению потенциальных решений проблем с дублированным контентом, у аудитории было несколько вопросов.

Если я закрою тегом nofollow значительное количество своих внутренних ссылок для уменьшения проблем с дублированным контентом, поднимет ли это тревожный флаг для поисковых систем? Количество nofollow
ссылок на сайте не вызовет никаких тревожных сигналов, но это, вероятно, не лучший метод блокировки сканирования дублирующихся страниц поисковыми системами, так как другие сайты могут ссылаться на эти страницы. Лучшим методом может быть блокировка страниц, которые вы не хотите сканировать, с помощью файла robots.txt.

Продолжают ли поисковые системы альянс Sitemaps? Мы запустили
sitemaps.org
в ноябре прошлого года и с тех пор регулярно встречаемся. В апреле мы добавили возможность сообщать нам о вашем файле Sitemap в файле robots.txt. Мы планируем продолжать совместную работу над подобными инициативами, чтобы облегчить жизнь вебмастерам.

Многие страницы на моем сайте в основном состоят из графиков. Хотя графики на каждой странице разные, как я могу гарантировать, что поисковые системы не видят эти страницы как дубликаты, поскольку они не читают изображения? Чтобы поисковые системы считали эти страницы уникальными, включайте уникальный текст на каждой странице (например, разные название, подпись и описание для каждого графика) и добавляйте уникальный альт-текст для каждого изображения. (Например, вместо использования alt="graph", используйте что-то вроде alt="graph that shows Willow's evil trending over time".

Я синдицировал свой контент многим партнерам, и теперь некоторые из этих сайтов ранжируются по этому контенту вместо моего сайта. Что я могу сделать? Если вы предоставили свой контент бесплатно, вам может потребоваться улучшить и расширить контент на вашем сайте, чтобы сделать его уникальным.

Как пользователь поиска, я хочу видеть дубликаты в результатах поиска. Можете ли вы добавить это в качестве опции?
Мы обнаружили, что большинство пользователей предпочитают не видеть дублирующиеся результаты. В частности, участник аудитории отметил, что она может не захотеть получать информацию с одного сайта и хотела бы иметь другие варианты, но в таком случае другие сайты, скорее всего, не будут иметь идентичную информацию и поэтому появятся в результатах. Имейте в виду, что вы можете добавить параметр “&filter;=0” в конец URL веб-поиска Google, чтобы увидеть дополнительные результаты, которые могут быть похожими.

Я передал все проблемы и потенциальные решения, которые мы обсуждали на саммите, своей команде и другим сотрудникам Google, и мы продолжим работать над предоставлением наилучших результатов поиска и расширением нашего партнерства с вами, вебмастером. Если у вас есть дополнительные мысли, мы будем рады их услышать!

Опубликовано Vanessa Fox