Un archivo robots.txt indica a los rastreadores de los motores de búsqueda qué URL pueden visitar en tu sitio.
Esto se utiliza principalmente para evitar sobrecargar tu sitio con solicitudes; no es un
mecanismo para mantener una página web fuera de Google. Para mantener una página web fuera de Google,
bloquea la indexación con noindex
o protege la página con contraseña.
¿Para qué se utiliza un archivo robots.txt?
Un archivo robots.txt se utiliza principalmente para gestionar el tráfico de rastreo a tu sitio, y
habitualmente , para mantener un archivo fuera de Google, según el tipo de archivo:
| Efecto de robots.txt en diferentes tipos de archivos | |
|---|---|
| Página web | Puedes utilizar un archivo robots.txt para páginas web (HTML, PDF u otros Si tu página web está bloqueada con un archivo robots.txt, su URL aún puede |
| Archivo multimedia | Utiliza un archivo robots.txt para gestionar el tráfico de rastreo y también para evitar que archivos de imagen, video y audio aparezcan en los resultados de Google Search. Esto no evitará que otras páginas o usuarios enlacen a tu archivo de imagen, video o audio. |
| Archivo de recursos | Puedes utilizar un archivo robots.txt para bloquear archivos de recursos como imágenes sin importancia, scripts o archivos de estilo, si consideras que las páginas cargadas sin estos recursos no se verán afectadas significativamente por la pérdida. Sin embargo, si la ausencia de estos recursos dificulta que el rastreador de Google comprenda la página, no los bloquees, o de lo contrario Google no hará un buen trabajo analizando las páginas que dependen de esos recursos. |
Comprende las limitaciones de un archivo robots.txt
Antes de crear o editar un archivo robots.txt, debes conocer los límites de este método de bloqueo de URL. Dependiendo de tus objetivos y situación, es posible que desees considerar otros mecanismos para garantizar que tus URL no se puedan encontrar en la web.
- Es posible que las reglas de robots.txt no sean compatibles con todos los motores de búsqueda.
Las instrucciones en los archivos robots.txt no pueden imponer el comportamiento del rastreador en tu sitio; depende del rastreador obedecerlas. Si bien Googlebot y otros rastreadores web respetables obedecen las instrucciones de un archivo robots.txt, es posible que otros rastreadores no lo hagan. Por lo tanto, si deseas mantener la información segura frente a los rastreadores web, es mejor utilizar otros métodos de bloqueo, como
proteger con contraseña los archivos privados en tu servidor. - Diferentes rastreadores interpretan la sintaxis de manera distinta.
Aunque los rastreadores web respetables siguen las reglas de un archivo robots.txt, cada rastreador puede interpretar las reglas de manera diferente. Debes conocer la
sintaxis adecuada para dirigirte a diferentes rastreadores web, ya que algunos pueden no entender ciertas instrucciones. - Una página bloqueada en robots.txt
aún puede ser indexada si se enmarca desde otros sitios.
Si bien Google no rastreará ni indexará el contenido bloqueado por un archivo robots.txt, aún podemos encontrar e indexar una URL bloqueada si está enlazada desde otros lugares de la web. Como resultado, la dirección URL y, potencialmente, otra información disponible públicamente, como el texto de anclaje en los enlaces a la página, aún pueden aparecer en los resultados de búsqueda de Google. Para evitar adecuadamente que tu URL aparezca en los resultados de búsqueda de Google,
protege con contraseña los archivos de tu servidor,
utiliza la etiquetanoindexmetao la cabecera de respuesta, o elimina la página por completo.
Crea o actualiza un archivo robots.txt
Si decides que necesitas uno, aprende a
crear un archivo robots.txt. O si ya tienes uno, aprende a
actualizarlo.
¿Quieres saber más? Consulta los siguientes recursos:
- Cómo escribir y enviar un archivo robots.txt
- Actualiza tu archivo robots.txt
- Cómo interpreta Google la especificación de robots.txt
Cómo lo aplicamos
Robots.txt controls crawling, not indexing, and that distinction causes more damage than any other misunderstanding in technical SEO. A blocked URL can still appear in results with no description, which is usually the worst of both outcomes.
Servicios relacionados