Disallow impide el rastreo de secciones o páginas; Allow lo permite. Yandex enumera lo que debe ir detrás de Disallow: páginas con datos confidenciales, resultados de búsqueda interna, estadísticas de tráfico, duplicados, registros y páginas de servicio de bases de datos.
La recomendación que la gente pasa por alto
Para las páginas cuyas direcciones contienen parámetros GET, Yandex recomienda Clean-param en lugar de Disallow, y explica por qué: con Disallow, es posible que no pueda identificar la contraparte sin parámetros del duplicado y se pierdan algunas de las métricas acumuladas de las páginas bloqueadas. El bloqueo descarta señales; Clean-param las consolida en la dirección canónica.
Esta es una respuesta genuinamente diferente a la que ofrecen la mayoría de las auditorías técnicas, y se aplica a la categoría más grande de URLs no deseadas en cualquier sitio comercial: etiquetas de seguimiento, órdenes de clasificación, identificadores de sesión.
Patrones
Disallow: / # todo el sitio
Disallow: /catalogue # cualquier cosa que comience con /catalogue
Disallow: /page? # cualquier cosa cuya URL contenga parámetros después de /pageAllow en combinación
User-agent: Yandex
Allow: /cgi-bin
Disallow: /Todo bloqueado excepto las rutas que comienzan con /cgi-bin. Esta inversión —bloquear todo, permitir solo lo específico— es la forma correcta para un entorno de pruebas o una aplicación donde solo unas pocas secciones deben ser rastreadas, y es mucho más seguro que enumerar cada directorio para excluirlo.
Lo que Disallow no hace
No elimina una página de la búsqueda. Una página bloqueada aún puede aparecer listada. Peor aún, bloquear una página impide que el robot lea una etiqueta noindex en ella, por lo que ambos instrumentos nunca deben combinarse en la misma URL.
Antes de implementar
Ejecute las URLs previstas a través del analizador, tanto las que deben bloquearse como las que no deben serlo. Una regla con la precisión incorrecta es invisible hasta que el tráfico desaparece.
Cómo lo aplicamos
The Clean-param-over-Disallow recommendation is one we now apply by default, because Yandex says outright that blocking parameterised URLs loses accumulated metrics. Most audit templates say the opposite. For staging sites we use the block-everything-then-allow pattern, and we test both a permitted and a forbidden URL before it ships, because getting this file wrong in either direction is expensive.
Servicios relacionados