Viernes, 14 de marzo de 2025
Con el archivo robots.txt, los propietarios de sitios web tienen una manera sencilla de controlar qué partes de un sitio web son accesibles para los rastreadores. Para ayudar aún más a los propietarios de sitios a expresar cómo los motores de búsqueda y los rastreadores web pueden utilizar sus páginas, la comunidad involucrada en el desarrollo de estándares web
ideó robots meta etiquetas en 1996, apenas unos meses después de que se propusieran las metaetiquetas para HTML (y anecdóticamente, también antes de que se fundara Google). Más tarde, X-Robots-Tag encabezados de respuesta HTTP
fueron añadidos. Estas instrucciones se envían junto con una URL, por lo que los rastreadores solo pueden tenerlas en cuenta si no se les ha prohibido rastrear la URL a través del archivo robots.txt. Juntos, forman el Protocolo de Exclusión de Robots (REP).
Un vistazo a robots meta
etiquetas Las metaetiquetas (o elementos) son una forma de incluir metadatos legibles por máquina. Robots
meta Las etiquetas son un “tipo” de metaetiqueta y se aplican a los rastreadores, incluidos los rastreadores de los motores de búsqueda. Indican: ¿El contenido está bloqueado para la indexación? ¿Los enlaces de la página no deben seguirse para el rastreo? Es fácil proporcionar esta información directamente en la página con robots meta etiquetas. Un Protocolo de Exclusión de Robots para cualquier URL Para dar el mismo nivel de control al contenido que no es HTML, se creó el X-Robots-Tag ” encabezado de respuesta HTTP. Estos encabezados HTTP también se consideran parte del REP. El encabezado admite los mismos valores que la metaetiqueta de robots y se puede agregar a cualquier contenido publicado en línea. Además de HTML, Google lo admite para contenidos como archivos PDF, documentos e incluso imágenes. La mayoría de estos formatos de archivo no tienen un mecanismo equivalente a las metaetiquetas, por lo que un encabezado de respuesta HTTP es útil.
Primeros pasos con robots
metaetiquetas y encabezadosLa sintaxis es sencilla y extensible. Las reglas generalmente se implementan ya sea por el desarrollador web o a través de un Sistema de Gestión de Contenido (CMS), donde los propietarios del sitio pueden tener casillas de verificación o menús desplegables para seleccionar sus preferencias. Estos controles pueden dirigirse a un rastreador específico, como Googlebot, o, al omitir un nombre específico, dirigirse a todos los rastreadores que admiten estos valores.
Por ejemplo, las siguientes reglas indican a todos los rastreadores que no utilicen la página asociada para la indexación:
En forma de HTML meta etiqueta, en una página web: Revisar las existentes meta
etiquetas o encabezados de respuesta requiere un poco más de esfuerzo y exige un examen directo del contenido de la página o de los encabezados. Puedes ver las metaetiquetas HTML en cualquier página ya sea mirando el código fuente de la página en tu navegador o usando las herramientas de desarrollador de Chrome para inspeccionar la página En forma de
encabezado de respuesta HTTP
Puedes comprobar los encabezados de respuesta HTTP para URLs individuales con las herramientas de desarrollador de Chrome, en el
- panel de red
Otros ejemplos de lo que puedes hacer:No mostrar un fragmento para esta página o documento.En el encabezado HTTP:
o en HTML:No indexar esta página en
ExampleBot-News, sin especificar una preferencia para otros.
Estos controles especifican explícitamente un rastreador.. - o ExampleBot:
no debe mostrar un fragmento y, además, todos los rastreadores no deben seguir los enlaces de esta página.
Ten en cuenta que se aplican las directivas válidas más restrictivas, por lo que para.
ExampleBot
la directiva se combinaría como “ | nosnippet, nofollow o |
Cómo elegir un mecanismo REP Todos estos controles son extensibles por naturaleza. A lo largo de los años, los propietarios de sitios, los operadores de rastreadores y los motores de búsqueda han trabajado juntos para evolucionarlos. Históricamente comenzó con un puñado de valores, incluidos | |
, y luego más valores como | es |
es
es
es
es es es eses
es, eses max-snippet: fueron adoptados. Y a veces los valores quedan obsoletos, como fue el caso de noodp,
DMOZ / Open Directory Project
que utilizaba fragmentos antes de que se cerrara el directorio. Hay una
plétora de valores compatibles con Google para los propietarios de sitios, y una cantidad similar de otros grandes operadores de rastreadores.
Bajo el paraguas de REP, los propietarios de sitios tienen el control sobre qué se rastrea y cómo se utilizan los datos rastreados en los motores de búsqueda. Pueden hacer esto a un nivel amplio para partes más grandes de los sitios web, o a un nivel muy granular, para páginas individuales, incluso para imágenes dentro de las páginas. Estos controles son bien conocidos, están disponibles en todos los sistemas de gestión de contenido comunes, cuentan con un amplio soporte de operadores comerciales y se utilizan hoy en día en miles de millones de hosts en Internet.
Echa un vistazo al resto de la serie Robots Refresher:
Cómo lo aplicamos
Google announcements age. We keep this post here for the record, and we note for clients whether the behaviour it describes still applies today or has since been superseded.
Servicios relacionados