Объединение дублирующегося контента на вашем веб-сайте

Вторник, 6 октября 2009 г.

Работа с дублирующимся контентом на собственном веб-сайте может оказаться серьезной задачей. Веб-сайты растут; функции добавляются, изменяются и удаляются; контент появляется и исчезает. Со временем на многих веб-сайтах накапливается систематический мусор в виде нескольких URL-адресов, возвращающих один и тот же контент. Наличие дублирующегося контента на вашем сайте обычно не является проблемой, хотя это может усложнить для поисковых систем сканирование и индексирование материалов. Кроме того, PageRank и аналогичная информация, получаемая по входящим ссылкам, может распыляться по страницам, которые мы в данный момент не распознаем как дубликаты, что потенциально может привести к более низким позициям предпочитаемой вами версии страницы в Google.

Шаги по устранению дублирующегося контента на вашем сайте

1. Выявите дублирующийся контент на своем веб-сайте. Первый и самый важный шаг — выявить дублирующийся контент на вашем сайте. Простой способ сделать это — взять уникальный фрагмент текста со страницы и выполнить поиск по нему, ограничившись страницами вашего собственного сайта с помощью запроса
   site: в
   Google.
2. Множество результатов для одного и того же контента укажут на дублирование, которое вы можете изучить. Определите предпочитаемые URL-адреса.
3. Прежде чем исправлять проблемы с дублирующимся контентом, вам необходимо определить предпочитаемую структуру URL-адресов. Какой URL-адрес вы бы предпочли использовать для этого материала? Соблюдайте последовательность на своем веб-сайте.
   После того как вы выбрали предпочитаемые URL-адреса, обязательно используйте их во всех возможных местах на вашем сайте (в том числе в).
4. файле Sitemap 301 Применяйте постоянные перенаправления там, где это необходимо и возможно. 301 Если вы можете, 301
   перенаправляйте дублирующиеся URL-адреса на предпочитаемые с помощью
   кода ответа. Это помогает пользователям и поисковым системам находить предпочитаемые URL-адреса, если они переходят по дублирующим ссылкам. Если ваш сайт доступен по нескольким доменным именам, выберите одно инастройте соответствующее перенаправление с остальных, убедившись, что перенаправление идет на нужную конкретную страницу, а не просто на корень домена. Если вы поддерживаете хостинг-имена как с www, так и без www, выберите одно,
5. используйте настройку предпочитаемого домена в Веб-мастер Инструментах
   и настройте правильное перенаправление. Внедряйте тег
   rel=”canonical”
   на своих страницах, 301 где это возможно. Там, где перенаправления невозможны, тег
   rel=”canonical”,
   может дать нам лучшее понимание вашего сайта и предпочитаемых URL-адресов. Использование этого тега также поддерживается основными поисковыми системами, такими как
   Ask.com,
   Bing.
6. и
   Yahoo!
   По возможности используйте
   инструмент управления параметрами URL
   в Google Веб-мастер Инструментах..

Если часть или весь дублирующийся контент вашего сайта поступает из URL-адресов с параметрами запроса, этот инструмент поможет вам уведомить нас о важных и неважных параметрах в ваших URL. Дополнительную информацию об этом инструменте можно найти в нашем

блоге-анонсе Как насчет файла robots.txt?Один из элементов, отсутствующих в этом списке, — запрет сканирования дублирующегося контента с помощью файла robots.txt.
Теперь мы рекомендуем не блокировать доступ к дублирующемуся контенту на вашем сайте , будь то с помощью файла robots.txt или другими методами. Вместо этого используйте
тегrel=”canonical”, 301 инструмент управления параметрами URL
или.

перенаправления
. Если доступ к дублирующемуся контенту полностью заблокирован, поисковым системам фактически приходится воспринимать эти URL как отдельные, уникальные страницы, поскольку они не могут знать, что на самом деле это просто разные URL для одного и того же контента. Лучшим решением будет разрешить их сканирование, но четко пометить их как дубликаты, используя один из наших рекомендованных методов. Если вы разрешите нам сканировать эти URL, Googlebot научится определять дубликаты просто по самому URL и в любом случае сможет в значительной степени избежать ненужных повторных сканирований. В случаях, когда дублирующийся контент все же приводит к тому, что мы сканируем слишком большую часть вашего сайта,вы также можете настроить частоту сканирования в Веб-мастер Инструментах
Мы надеемся, что эти методы помогут вам управлять дублирующимся контентом на вашем веб-сайте! Информацию о дублирующемся контенте в целом также можно найти в нашем.

Справочном центре
. Если у вас возникнут какие-либо вопросы, вы можете присоединиться к обсуждению на нашемФоруме помощи для веб-мастеров