¿Cómo prohíbo la indexación del sitio o de las páginas?

Tres instrumentos ocultan contenido de la indexación y operan en diferentes niveles: todo el sitio o una sección, una página individual o parte del texto de una página.

Sitio, sección o página

• Disallow en robots.txt.
• La robots etiqueta meta con noindex o none.
• Autorización — y Yandex recomienda específicamente esto para ocultar una página de inicio, con una razón que vale la pena recordar: una página de inicio bloqueada en robots.txt todavía puede aparecer en los resultados si otros sitios la enlazan. Bloquear no es ocultar.

Para cualquier contenido verdaderamente restringido, combine la autorización con una respuesta del servidor de 404, 403 o 410 para solicitudes no autorizadas, de modo que la página no se limite a negarse a renderizar, sino que informe que no está disponible.

Parte del texto de una página

El noindex elemento — una extensión de Yandex, distinta de la etiqueta meta:

<noindex>texto que no debe ser indexado</noindex>

Dos reglas hacen que sea peligroso si se usa mal:

• Si falta la etiqueta de cierre, todo el contenido restante de la página se trata como oculto. Una etiqueta no cerrada puede eliminar el texto de toda una página del índice.
• Las etiquetas anidadas se ignoran después de la primera etiqueta de cierre, por lo que el anidamiento no funciona como está escrito.

Para un marcado válido, se acepta la forma de comentario: <!--noindex-->…<!--/noindex-->.

Elegir entre ellos

Pregúntese qué debería suceder si alguien escribe la URL directamente. Si la respuesta es “deberían verla, pero no debería posicionar” — noindex. Si es “el robot no debería perder el tiempo aquí” — Disallow. Si es “nadie debería ver esto” — autorización, con un código de estado apropiado. Los tres no son intercambiables, y el error más común es usar el segundo para el tercero.