Clean-param es una extensión de Yandex sin equivalente en otros lugares: le indica al robot qué parámetros de URL no cambian el contenido de la página, para que las variantes converjan en una sola dirección y las métricas acumuladas se transfieran a ella. Dicha transferencia es la razón por la cual Yandex la recomienda por encima de Disallow para URL parametrizadas.
Cómo funciona
Dados tres direcciones que solo se diferencian por un parámetro de seguimiento:

/some_dir/get_book.pl?ref=site_1&book_id=123
/some_dir/get_book.pl?ref=site_2&book_id=123
/some_dir/get_book.pl?ref=site_3&book_id=123la directiva
User-agent: Yandex
Clean-param: ref /some_dir/get_book.pllas colapsa a /some_dir/get_book.pl?book_id=123, que es lo que aparece en la búsqueda si existe en el sitio. Tenga en cuenta que book_id se conserva — el parámetro que sí determina el contenido permanece.
Forma a nivel de todo el sitio
Omita la ruta y la regla se aplicará en todas partes:

User-agent: Yandex
Clean-param: utmPor qué importa mantenerlo actualizado
Yandex explica el costo de la negligencia con precisión: un nuevo parámetro que no afecta al contenido produce páginas duplicadas, y debido a que hay muchas de ellas el robot rastrea el sitio más lentamente — por lo que los cambios importantes tardan más en aparecer en la búsqueda. Por lo tanto, un equipo de marketing que introduce un nuevo parámetro de seguimiento está tomando una decisión sobre el presupuesto de rastreo sin saberlo.
Recordatorios de sintaxis
Los parámetros están separados por &; el prefijo de ruta está separado de ellos por un espacio. Hacer esto mal genera el error “invalid Clean-param directive format” en el analizador, que es uno de los errores específicos de Yandex que un comprobador genérico de robots.txt no informará.
Dónde interactúa con la consola
La página de configuración de parámetros GET hace el mismo trabajo a través de la interfaz. Cuando ambos no coinciden, gana la regla que previene la indexación — por lo que una línea Clean-param obsoleta anula silenciosamente cualquier cosa configurada en la interfaz.
Cómo lo aplicamos
We keep a Clean-param line under review as part of ongoing work rather than writing it once, because every new campaign parameter that goes unlisted quietly multiplies the crawlable URL count. Explaining that link to the marketing team — new tracking parameter, slower indexing of new products — is more effective than any technical argument, because it connects the two things they each care about.
Servicios relacionados