Una nota sobre las reglas no compatibles en robots.txt

Martes, 2 de julio de 2019

Ayer anunciamos que vamos a hacer
de código abierto el analizador de robots.txt de producción de Google. Fue un momento emocionante que allana el camino para futuros proyectos potenciales de código abierto en la Búsqueda. Los comentarios son útiles, y estamos recopilando con entusiasmo preguntas de
desarrolladores y
webmasters por igual. Una pregunta

destacó, la cual abordaremos en esta publicación:

¿Por qué no se incluye en el código un controlador de código para otras reglas como crawl-delay? El borrador de Internet que publicamos ayer proporciona una arquitectura extensible para reglas que no forman parte del estándar. Esto significa que si unrastreador quisiera admitir su propia línea como unicorns: allowed.

,
podría hacerlo. Para demostrar cómo se vería esto en un analizador, incluimos una línea muy común,, sitemap, en nuestro
analizador de robots.txt de código abiertoAl abrir el código de nuestra biblioteca de analizadores, analizamos el uso de las reglas de robots.txt. En particular, nos centramos en las reglas no compatibles con el borrador de Internet, como

crawl-delay
nofollow, y
noindex . Dado que Google nunca documentó estas reglas, naturalmente su uso en relación con Googlebot es muy bajo. Profundizando más, vimos que su uso entraba en contradicción con otras reglas en todos los archivos robots.txt de Internet, excepto en el 0,001%. Estos errores perjudican la presencia de los sitios web en los resultados de búsqueda de Google de maneras que creemos que los webmasters no pretendían.
Con el fin de mantener un ecosistema saludable y prepararnos para posibles futuros lanzamientos de código abierto, retiraremos todo el código que gestione reglas no compatibles y no publicadas (como noindex

• ) el 1 de septiembre de 2019. Para aquellos de ustedes que confiaron en la regla de indexación
  noindex en el archivo robots.txt , que controla el rastreo, existen varias opciones alternativas: noindex
  en etiquetas
• 404 meta 410 de robots::
  Compatible tanto en los encabezados de respuesta HTTP como en HTML, la regla
• noindex es la forma más eficaz de eliminar URLs del índice cuando se permite el rastreo.
  yCódigos de estado HTTP
• Ambos códigos de estado significan que la página no existe, lo que hará que dichas URLs salgan del índice de Google una vez que se rastreen y procesen. Protección con contraseña: A menos que se utilicen etiquetas para indicar: contenido de suscripción o detrás de un muro de pago
• , ocultar una página detrás de un inicio de sesión generalmente la eliminará del índice de Google.:
  Disallow

en
robots.txtLos motores de búsqueda solo pueden indexar las páginas que conocen, por lo que bloquear la página para que no sea rastreada generalmente significa que su contenido no se indexará. Si bien el motor de búsqueda también puede indexar una URL basándose en enlaces de otras páginas, sin ver el contenido en sí, nuestro objetivo es hacer que tales páginas sean menos visibles en el futuro. Herramienta de eliminación de URLs de Search Console
La herramienta es un método rápido y sencillo para eliminar temporalmente una URL de los resultados de búsqueda de Google. Para obtener más orientación sobre cómo eliminar información de los resultados de búsqueda de Google, visite nuestroCentro de Ayuda . Si tiene preguntas, puede encontrarnos en Twitter

y en nuestra Comunidad de Webmasters