Clean-param — это расширение Яндекса, не имеющее аналогов на других площадках: оно сообщает роботу, какие параметры URL не изменяют содержимое страницы, благодаря чему варианты сводятся к одному адресу и накопленные метрики переносятся на него. Именно из-за этого переноса Яндекс рекомендует использовать её вместо Disallow для параметризованных URL.
Как это работает
Пусть есть три адреса, отличающиеся только параметром отслеживания:
/some_dir/get_book.pl?ref=site_1&book_id=123
/some_dir/get_book.pl?ref=site_2&book_id=123
/some_dir/get_book.pl?ref=site_3&book_id=123директива
User-agent: Yandex
Clean-param: ref /some_dir/get_book.plсворачивает их к виду /some_dir/get_book.pl?book_id=123— именно этот адрес появляется в поиске, если он существует на сайте. Обратите внимание, что book_id сохраняется: параметр, который действительно определяет контент, остается.
Правило для всего сайта
Опустите путь, и правило будет применяться повсеместно:
User-agent: Yandex
Clean-param: utmПочему важно поддерживать её в актуальном состоянии
Яндекс четко объясняет цену упущений: новый параметр, не влияющий на контент, создает дубликаты страниц, и поскольку их много, робот обходит сайт медленнее — из-за чего важные изменения дольше появляются в поиске. Таким образом, маркетинговая команда, внедряющая новый параметр отслеживания, принимает решение по крал-бюджету, даже не подозревая об этом.
Напоминания по синтаксису
Параметры разделяются &; префикс пути отделяется от них пробелом. Ошибка в этом приводит к появлению в анализаторе ошибки “invalid Clean-param directive format”, которая является одной из специфичных для Яндекса ошибок, не фиксируемых обычными проверками robots.txt.
Как она взаимодействует с консолью
Страница настроек GET-параметров выполняет ту же задачу через интерфейс. Когда они расходятся во мнениях, побеждает правило, запрещающее индексацию — поэтому устаревшая строка Clean-param незаметно переопределяет всё, что задано в интерфейсе.
Как мы это применяем
We keep a Clean-param line under review as part of ongoing work rather than writing it once, because every new campaign parameter that goes unlisted quietly multiplies the crawlable URL count. Explaining that link to the marketing team — new tracking parameter, slower indexing of new products — is more effective than any technical argument, because it connects the two things they each care about.
Связанные услуги