Дубликаты — это страницы в рамках одного сайта, содержащие одинаковый контент по разным адресам. Yandex четко разграничивает: страницы на региональных поддоменах с идентичным контентом не являются дубликатами.
Три проблемы
- Нужная вам страница может пропасть, потому что робот выбрал другую из группы. Иногда страницы вообще не объединяются в группы и тогда начинают конкурировать друг с другом, что еще хуже.
- Индексируемый адрес может измениться, что незаметно ломает отчетность в аналитике.
- Обход занимает больше времени, поэтому важные страницы попадают в поисковую базу медленнее, а сайт испытывает дополнительную нагрузку на роботов.
Как их найти
Индексированные страницы → Исключенные страницы, отфильтрованные по статусу Удалено: дубликат; в скачиваемом архиве они имеют статус ДУБЛИКАТ. Дубликаты, вызванные GET-параметрами, также вызывают предупреждение на странице «Исправление ошибок». Обратите внимание, что AMP-страница считается дубликатом своей обычной версии.
Четыре паттерна и способы их исправления
- Один и тот же контент на разных URL. 301 редирект, указание canonical или
Disallow/noindex. Выберите, какая страница должна остаться, основываясь на том, что полезно пользователям — для группы похожих товаров сохранение страницы каталога позволяет посетителю увидеть альтернативы. Для сравнения HTML и AMP, Yandex рекомендует оставлять HTML-страницу. - Главная страница дублируется по адресу
/index.phpи т. п. Редирект или canonical — но редирект в сторону главной страницы. Yandex указывает на ловушку:/редиректна/index.phpозначает, что контентотображается по адресу/, что является противоположностью задуманного. - Варианты со слэшем на конце и без него. Используйте 301, а не canonical — Yandex говорит, что canonical здесь может проигнорироваться. Выбирайте направление исходя из того, какая форма уже проиндексирована, чтобы не запускать переиндексацию впустую. Для главной страницы отдельно настраивать ничего не нужно:
example.comиexample.com/распознаются как одна и та же страница. - GET-параметры.
Clean-paramили настройки GET-параметров в панели вебмастера.
Откуда берутся дубликаты
Два источника, и только один из них — дефект. Естественное дублирование (товар в нескольких категориях) и артефакты CMS: версии для печати, идентификаторы сессий, трекинговые метки, комбинации фильтров. Второй вариант растет бесконечно.
Как мы это применяем
On catalogue sites the duplicate list is nearly always one template decision multiplied by thousands of URLs, so we fix the pattern rather than the pages. The trap worth repeating is the home page redirect direction — we have inherited more than one site where /index.php was the indexed home page because the redirect pointed the wrong way, and every backlink in the world was arriving at a redirect.
Связанные услуги