Especificaciones de etiquetas meta robots, data-nosnippet y X-Robots-Tag

Este documento detalla cómo se pueden utilizar los ajustes a nivel de página y de texto para ajustar cómo presenta Google su contenido en los resultados de búsqueda. Puede especificar los ajustes a nivel de página incluyendo una
meta etiqueta en páginas HTML o en una cabecera HTTP. Puede especificar los ajustes a nivel de texto con el atributo data-nosnippet en elementos HTML dentro de una página.

Tenga en cuenta que estos ajustes solo se pueden leer y seguir si se permite a los rastreadores acceder a las páginas que incluyen dichos ajustes.

La regla <meta name="robots" content="noindex"> se aplica a los rastreadores de motores de búsqueda. Para bloquear rastreadores que no sean de motores de búsqueda, como AdsBot-Google, es posible que necesite añadir reglas dirigidas al rastreador específico (por ejemplo,
<meta name="AdsBot-Google" content="noindex">).

Uso de la etiqueta robots meta La etiqueta

robots meta le permite utilizar un enfoque granular y específico de la página para controlar cómo debe indexarse una página HTML individual y mostrarse a los usuarios en los resultados de Google Search. Coloque la etiqueta robots meta en la sección <head> de una página dada, de esta manera: Si utiliza un CMS, como Wix, WordPress o Blogger

robots meta indica a los motores de búsqueda que no muestren la página en los resultados de búsqueda. El valor del atributo name ( robots) especifica que la regla se aplica a todos los rastreadores. Tanto el atributoname como el atributo
content no distinguen entre mayúsculas y minúsculas. Para dirigirse a un rastreador específico, reemplace el valor robots del atributo name con el token de agente de usuario del rastreador al que se dirige. Google admite dos tokens de agente de usuario en la etiqueta robots
meta ; los demás valores se ignoran: googlebot

1. : para todos los resultados de texto.googlebot-news
2. : para resultados de noticias.Por ejemplo, para indicar específicamente a Google que no muestre un fragmento en sus resultados de búsqueda, puede especificar

googlebot como el nombre de la etiqueta meta : Para mostrar un fragmento completo en los resultados de búsqueda web de Google, pero ningún fragmento en Google News, especifique

googlebot-news
como el nombre de la etiqueta meta : Para especificar múltiples rastreadores individualmente, utilice múltiples etiquetas

robots meta
: Nota:

fr
frubst fr en su lugar.

Usando el X-Robots-Tag cabecera HTTP

El X-Robots-Tag se puede utilizar como un elemento de la respuesta de la cabecera HTTP para una URL dada. Cualquier regla que se pueda usar en una etiqueta robots meta también se puede especificar como un X-Robots-Tag. Aquí hay un ejemplo de una respuesta HTTP con un
X-Robots-Tag que indica a los rastreadores que no indexen una página:

Múltiples X-Robots-Tag cabeceras se pueden combinar dentro de la respuesta HTTP, o puede especificar una lista de reglas separadas por comas. Aquí hay un ejemplo de una respuesta de cabecera HTTP que tiene un noimageindex
X-Robots-Tag combinado con un
unavailable_after X-Robots-Tag.

El X-Robots-Tag puede especificar opcionalmente un agente de usuario antes de las reglas. Por ejemplo, el siguiente conjunto de X-Robots-Tag cabeceras HTTP se puede utilizar para permitir condicionalmente que se muestre una página en los resultados de búsqueda para diferentes motores de búsqueda:

Las reglas especificadas sin un agente de usuario son válidas para todos los rastreadores. La cabecera HTTP, el nombre del agente de usuario y los valores especificados no distinguen entre mayúsculas y minúsculas.

Reglas de indexación y servicio válidas

Las siguientes reglas, también disponibles en
formato legible por máquina, se pueden utilizar para controlar la indexación y el servicio de un fragmento con la etiqueta robots meta y el X-Robots-Tag. Cada valor representa una regla específica. Se pueden combinar múltiples reglas en una lista separada por comas o en meta etiquetas separadas. Estas reglas no distinguen entre mayúsculas y minúsculas.

Manejo de reglas combinadas de indexación y servicio

Puede crear una instrucción de reglas múltiples combinando reglas de etiquetas robots meta
con comas o utilizando varias etiquetas meta . Aquí hay un ejemplo de una etiqueta robots meta que instruye a los rastreadores web a no indexar la página y a no rastrear ninguno de los enlaces en la página:

Aquí hay un ejemplo que limita el fragmento de texto a 20 caracteres y permite una vista previa de imagen grande:

Para situaciones en las que se especifican varios rastreadores junto con diferentes reglas, el motor de búsqueda utilizará la suma de las reglas negativas. Por ejemplo:

La página que contiene estas etiquetas meta se interpretará como si tuviera una regla
noindex, nofollow cuando sea rastreada por Googlebot. Usando el

fr data-nosnippet Atributo HTML

Puede designar partes textuales de una página HTML para que no se utilicen como fragmento. Esto se puede hacer a nivel de elemento HTML con el data-nosnippet atributo HTML en elementos
span, divy
section . El data-nosnippet
se considera un
atributo booleano. Al igual que con todos los atributos booleanos, se ignora cualquier valor especificado. Para garantizar la legibilidad por parte de la máquina, la sección HTML debe ser HTML válido y todas las etiquetas apropiadas deben cerrarse en consecuencia.

Ejemplos:

Google normalmente renderiza las páginas para indexarlas, sin embargo, el renderizado no está garantizado. Debido a esto, la extracción de data-nosnippet puede ocurrir tanto antes como después del renderizado. Para evitar la incertidumbre del renderizado, no agregue ni elimine el
data-nosnippet atributo de los nodos existentes a través de JavaScript. Al agregar elementos DOM a través de JavaScript, incluya el
data-nosnippet atributo según sea necesario al agregar inicialmente el elemento al DOM de la página. Si se utilizan elementos personalizados, envuélvalos o renderícelos con elementos
div, spano
section si necesita usar
data-nosnippet.

. Uso de datos estructurados

Robots meta etiquetas rigen la cantidad de contenido que Google extrae automáticamente de las páginas web para mostrarlo como resultados de búsqueda. Pero muchos editores también utilizan datos estructurados de schema.org para poner información específica a disposición de la
presentación de búsqueda. . Las limitaciones de la Robots meta
etiqueta no afectan el uso de esos datos estructurados, con la excepción de article.description
y los valores de description
para datos estructurados especificados para otras obras creativas. Para especificar la longitud máxima de una vista previa basada en estos valores de description
, utilice la regla max-snippet
. Por ejemplo, los datos estructurados de recipe en una página son elegibles para su inclusión en el carrusel de recetas, incluso si la vista previa del texto estuviera limitada de otro modo. Puede limitar la longitud de una vista previa de texto conmax-snippet , pero esa robots meta

etiqueta no se aplica cuando la información se proporciona utilizando datos estructurados para resultados enriquecidos. Para gestionar el uso de datos estructurados para sus páginas web, modifique los tipos y valores de datos estructurados, agregando o eliminando información para proporcionar solo los datos que desea poner a disposición. Tenga en cuenta también que los datos estructurados siguen siendo utilizables para los resultados de búsqueda cuando se declaran dentro de un elemento data-nosnippet

. Implementación práctica de X-Robots-Tag

. Puede agregar el X-Robots-Tag a las respuestas HTTP de un sitio a través de los archivos de configuración del software del servidor web de su sitio. Por ejemplo, en servidores web basados en Apache, puede usar archivos .htaccess y httpd.conf. La ventaja de usar un
X-Robots-Tag con respuestas HTTP es que puede especificar reglas de rastreo que se aplican globalmente en todo un sitio. El soporte de expresiones regulares permite un alto nivel de flexibilidad.

Por ejemplo, para agregar un noindex, nofollow
X-Robots-Tag a la respuesta HTTP para todos los archivos .PDF en todo un sitio, agregue el siguiente fragmento al archivo .htaccess o httpd.conf de la raíz del sitio en Apache, o al archivo .conf del sitio en NGINX.

Puede usar el X-Robots-Tag para archivos que no son HTML, como archivos de imagen, donde no es posible el uso de etiquetas robots meta en HTML. Aquí hay un ejemplo de cómo agregar “noindex”
. X-Robots-Tag regla para archivos de imagen (.png, .jpeg, .jpg, .gif) en todo un sitio:

También puede establecer los X-Robots-Tag encabezados para archivos estáticos individuales:

Combinación de reglas de robots.txt con reglas de indexación y servicio

robots meta etiquetas y X-Robots-Tag Los encabezados HTTP se descubren cuando se rastrea una URL. Si una página no puede ser rastreada a través del archivo robots.txt, no se encontrará ninguna información sobre las reglas de indexación o servicio y, por lo tanto, será ignorada. Si se deben seguir las reglas de indexación o servicio, las URL que contienen esas reglas no pueden ser excluidas del rastreo.