Почему мне следует избегать дубликатов страниц?

Дубликаты — это страницы с почти или полностью идентичным текстом на одном и том же сайте по разным URL. Пример главной страницы от Yandex показывает, насколько это обычно:

• https://example.com/
• https://www.example.com/
• https://example.com/index
• https://example.com/index.html
• https://example.com/?utm_source=…&utm_medium=…&utm_campaign=…

Робот группирует их и выбирает одну для поиска — и может изменить свой выбор позже, из-за чего проиндексированный URL может измениться без чьего-либо вмешательства в сайт.

Четыре издержки

• Индексируется несколько страниц вместо одной, что расходует ресурсы сайта и Yandex впустую.
• Новые страницы индексируются дольше.
• Дубликаты конкурируют друг с другом в результатах выдачи.
• Важная посадочная страница может быть сочтена дубликатом и исключена в пользу своей менее качественной версии.

Именно последнее имеет коммерческое значение. Нет никаких гарантий, что страница, в которую вы инвестировали, выживет.

Откуда они берутся

Главным образом из системы управления контентом: варианты с конечным слешем, адреса индексных файлов, версии для печати и каждый параметр кампании, добавленный к общей ссылке. Ни одно из этого не создается намеренно; они накапливаются.

Способы устранения, соответствующие причине

• Варианты адресов (www, протокол, /index.html) — 301, и запрос на переезд, если это зеркало.
• Конечный слеш — 301, не канонический, который, как заявляет Yandex, здесь может игнорироваться.
• Параметры кампаний и отслеживания — Clean-param, который также переносит накопленные показатели вместо их отбрасывания.
• Поистине похожие контентные страницы — rel="canonical", либо объединение в одну более качественную страницу.

Как оценить масштаб

Доступные для поиска страницы → Исключенные страницы с фильтром по статусу дубликата или скачиваемый архив, где они помечены как DUPLICATE. Группируйте по шаблону: список почти всегда представляет собой горстку умноженных причин.