Facilitar las pruebas de archivos robots.txt

Miércoles, 16 de julio de 2014

Rastrearlo o no rastrearlo, esa es la cuestión de robots.txt.

Crear y mantener archivos robots.txt correctos a veces puede ser difícil. Si bien para la mayoría de los sitios es fácil (consejo: ¡a menudo ni siquiera necesitan un archivo robots.txt!), encontrar las reglas dentro de un archivo robots.txt grande que están o estaban bloqueando URL individuales puede ser bastante complicado. Para facilitar esto, ahora anunciamos una actualización
herramienta de prueba de robots.txt
en Webmaster Tools.

Puede encontrar la herramienta de prueba actualizada en
Webmaster Tools
dentro de la sección Rastreo:

Aquí verá el archivo robots.txt actual y podrá probar nuevas URL para ver si no se permite su rastreo. Para guiarle a través de reglas complicadas, destacará la específica que condujo a la decisión final. Puede realizar cambios en el archivo y probarlos también; solo tendrá que cargar la nueva versión del archivo en su servidor después para que los cambios surtan efecto. Nuestro sitio para desarrolladores tiene
más información sobre las reglas de robots.txt y cómo se procesan los archivos.

Además, podrá revisar versiones anteriores de su archivo robots.txt y ver cuándo los problemas de acceso nos impiden el rastreo. Por ejemplo, si Googlebot ve un 500 error de servidor para
el archivo robots.txt

por lo general pausaremos el rastreo posterior del sitio web.
Dado que puede haber algunos errores o advertencias que se muestran en sus sitios existentes, le recomendamos que vuelva a verificar sus archivos robots.txt. También puede combinarlo con otras partes de Webmaster Tools: por ejemplo, puede utilizar la herramienta actualizada
Fetch as Google tool

para renderizar páginas importantes en su sitio web. Si se informa de alguna URL bloqueada, puede utilizar este comprobador de robots.txt para encontrar la regla que las bloquea y, por supuesto, mejorarla. Un problema común que hemos visto proviene de archivos robots.txt antiguos que bloquean CSS, JavaScript o contenido móvil; solucionar eso suele ser trivial una vez que lo ha visto.
Esperamos que esta herramienta actualizada le facilite probar y mantener el archivo robots.txt. Si tiene alguna pregunta o necesita ayuda para crear un buen conjunto de reglas, puede pasar por!

nuestro foro de ayuda para webmasters Publicado porAsaph Arnon