Disallow impide el rastreo de secciones o páginas; Allow lo permite. Yandex enumera lo que se encuentra detrás de Disallow: páginas con datos confidenciales, resultados de búsqueda interna, estadísticas de tráfico, duplicados, registros y páginas de servicios de bases de datos.
La recomendación que la gente pasa por alto
Para páginas cuyas direcciones contienen parámetros GET, Yandex recomienda Clean-param en lugar de Disallow, y explica por qué: con Disallow, es posible que no pueda identificar la contraparte sin parámetros del duplicado, y algunas de las métricas acumuladas de las páginas bloqueadas se pierden. El bloqueo descarta señales; Clean-param las consolida en la dirección canónica.
Esta es una respuesta genuinamente diferente a la que dan la mayoría de las auditorías técnicas, y se aplica a la categoría más grande de URL no deseadas en cualquier sitio comercial: etiquetas de seguimiento, órdenes de clasificación, identificadores de sesión.
Patrones
Disallow: / # todo el sitio
Disallow: /catalogue # cualquier cosa que empiece por /catalogue
Disallow: /page? # cualquier URL que contenga parámetros después de /pagePermitir en combinación
User-agent: Yandex
Allow: /cgi-bin
Disallow: /Todo bloqueado excepto las rutas que empiezan por /cgi-bin. Esta inversión —bloquear todo, permitir específico— es la forma correcta para un entorno de ensayo o una aplicación en la que solo unas pocas secciones deban ser rastreadas, y es mucho más segura que enumerar cada directorio para excluirlo.
Lo que Disallow no hace
No elimina una página de la búsqueda. Una página bloqueada aún puede aparecer en los listados. Peor aún, bloquear una página impide que el robot lea un noindex en ella, por lo que nunca se deben combinar ambos instrumentos en la misma URL.
Antes de implementar
Pase las URL previstas por el analizador, tanto las que deben bloquearse como las que no deben bloquearse bajo ningún concepto. Una regla con la precisión incorrecta es invisible hasta que el tráfico desaparece.
Cómo lo aplicamos
The Clean-param-over-Disallow recommendation is one we now apply by default, because Yandex says outright that blocking parameterised URLs loses accumulated metrics. Most audit templates say the opposite. For staging sites we use the block-everything-then-allow pattern, and we test both a permitted and a forbidden URL before it ships, because getting this file wrong in either direction is expensive.
Servicios relacionados