Robots.txt

La directiva Clean-param

Ask AI about this page

1 views 2 min de lectura

Clean-param es una extensión de Yandex sin equivalente en otros lugares: le indica al robot qué parámetros de URL no cambian el contenido de la página, para que las variantes converjan en una sola dirección y las métricas acumuladas se transfieran a ella. Dicha transferencia es la razón por la cual Yandex la recomienda por encima de Disallow para URL parametrizadas.

Cómo funciona

Dados tres direcciones que solo se diferencian por un parámetro de seguimiento:

La directiva Clean-param
/some_dir/get_book.pl?ref=site_1&book_id=123
/some_dir/get_book.pl?ref=site_2&book_id=123
/some_dir/get_book.pl?ref=site_3&book_id=123

la directiva

User-agent: Yandex
Clean-param: ref /some_dir/get_book.pl

las colapsa a /some_dir/get_book.pl?book_id=123, que es lo que aparece en la búsqueda si existe en el sitio. Tenga en cuenta que book_id se conserva — el parámetro que sí determina el contenido permanece.

Forma a nivel de todo el sitio

Omita la ruta y la regla se aplicará en todas partes:

La directiva Clean-param — 2
User-agent: Yandex
Clean-param: utm

Por qué importa mantenerlo actualizado

Yandex explica el costo de la negligencia con precisión: un nuevo parámetro que no afecta al contenido produce páginas duplicadas, y debido a que hay muchas de ellas el robot rastrea el sitio más lentamente — por lo que los cambios importantes tardan más en aparecer en la búsqueda. Por lo tanto, un equipo de marketing que introduce un nuevo parámetro de seguimiento está tomando una decisión sobre el presupuesto de rastreo sin saberlo.

Recordatorios de sintaxis

Los parámetros están separados por &; el prefijo de ruta está separado de ellos por un espacio. Hacer esto mal genera el error “invalid Clean-param directive format” en el analizador, que es uno de los errores específicos de Yandex que un comprobador genérico de robots.txt no informará.

Dónde interactúa con la consola

La página de configuración de parámetros GET hace el mismo trabajo a través de la interfaz. Cuando ambos no coinciden, gana la regla que previene la indexación — por lo que una línea Clean-param obsoleta anula silenciosamente cualquier cosa configurada en la interfaz.

Alien Road

Cómo lo aplicamos

We keep a Clean-param line under review as part of ongoing work rather than writing it once, because every new campaign parameter that goes unlisted quietly multiplies the crawlable URL count. Explaining that link to the marketing team — new tracking parameter, slower indexing of new products — is more effective than any technical argument, because it connects the two things they each care about.

Servicios relacionados

Compartir