Depuración de URLs bloqueadas

martes, 19 de septiembre de 2006

Vanessa ha estado publicando mucho últimamente y empiezo a sentirme excluido. Así que aquí va mi granito de sabiduría para vosotros: he notado que algunos webmasters se confunden con errores debloqueado por robots.txty quería compartir los pasos que sigo al depurar problemas de
robots.txt :

Una lista de comprobación práctica para depurar una URL bloqueada

Supongamos que está viendo los errores de rastreo de su sitio web y nota una URL restringida por robots.txt que no tenía la intención de bloquear:

Consulte la herramienta de análisis de robots.txt

Lo primero que debe hacer es ir a la
herramienta de análisis de robots.txt
para ese sitio. Asegúrese de que está viendo el sitio correcto para esa URL, prestando atención a que está observando el protocolo y el subdominio correctos. (Los subdominios y protocolos pueden tener su propio archivo robots.txt, por lo que https://www.example.com/robots.txt puede ser diferente de
https://example.com/robots.txt y puede ser diferente de
https://amanda.example.com/robots.txt). Pegue la URL bloqueada en el cuadro “Probar URLs contra este archivo robots.txt”. Si la herramienta informa de que está bloqueada, ha encontrado su problema. Si la herramienta informa de que está permitida, debemos investigar más a fondo.

En la parte superior de la herramienta de análisis de robots.txt, eche un vistazo al
código de estado HTTP. Si informamos de cualquier otra cosa que no sea un 200 (Éxito) o un
404 (No encontrado) , es posible que no podamos acceder a su archivo robots.txt, lo que detiene nuestro proceso de rastreo. (Tenga en cuenta que puede ver la última vez que descargamos su archivo robots.txt en la parte superior de esta herramienta. Si realiza cambios en su archivo, compruebe esta fecha y hora para ver si sus cambios se realizaron después de nuestra última descarga).

Compruebe si hay cambios en su archivo robots.txt

Si estos parecen correctos, es posible que desee comprobar si su archivo robots.txt ha cambiado desde que ocurrió el error consultando la fecha en que se modificó por última vez. Si se modificó después de la fecha indicada para el error en los errores de rastreo, es posible que alguien haya cambiado el archivo para que la nueva versión ya no bloquee esta URL.

Compruebe si hay redirecciones de la URL

Si puede estar seguro de que esta URL no está bloqueada, compruebe si la URL se redirige a otra página. Cuando Googlebot recupera una URL, comprueba el archivo robots.txt para asegurarse de que tiene permiso para acceder a la URL. Si el archivo robots.txt permite el acceso a la URL, pero la URL devuelve una redirección, Googlebot vuelve a comprobar el archivo robots.txt para ver si se puede acceder a la URL de destino. Si en algún momento Googlebot es redirigido a una URL bloqueada, informa de que no pudo obtener el contenido de la URL original porque estaba bloqueada por robots.txt.

A veces este comportamiento es fácil de detectar porque una URL particular siempre redirige a otra. Pero a veces esto puede ser difícil de averiguar. Por ejemplo:

• Es posible que su sitio no tenga un archivo robots.txt en absoluto (y, por lo tanto, permita el acceso a todas las páginas), pero una URL en el sitio puede redirigir a un sitio diferente, que sí tiene un archivo robots.txt. En este caso, es posible que vea URLs bloqueadas por robots.txt para su sitio (aunque no tenga un archivo robots.txt).
• Su sitio puede solicitar el registro después de un cierto número de páginas vistas. Es posible que tenga la página de registro bloqueada por un archivo robots.txt. En este caso, la URL en sí puede no redirigir, pero si Googlebot activa el aviso de registro al acceder a la URL, será redirigido a la página de registro bloqueada, y la URL original aparecerá en la página de errores de rastreo como bloqueada por robots.txt.

Pida ayuda

Finalmente, si aún no puede identificar el problema, es posible que desee publicar en nuestro
foro
para pedir ayuda. Asegúrese de incluir la URL que está bloqueada en su mensaje. A veces es más fácil para otras personas notar descuidos que usted pudo haber pasado por alto.

¡Buena suerte con la depuración! Y por cierto, al margen de robots.txt, asegúrese de no tener etiquetas noindex meta en la parte superior de sus páginas web; estas también hacen que Google no muestre un sitio web en nuestro índice.