Actualice su archivo robots.txt

Para actualizar las reglas de su archivo robots.txt existente, descargue una copia de su archivo robots.txt desde su sitio y realice las ediciones necesarias. Luego, suba el archivo actualizado a su sitio.

Descargue su archivo robots.txt

Puede descargar su archivo robots.txt de varias maneras, por ejemplo:

• Navegue a su archivo robots.txt, por ejemplo https://example.com/robots.txt
  y copie su contenido en un nuevo archivo de texto en su computadora. Asegúrese de seguir las pautas relacionadas con el
  formato de archivo
  al crear el nuevo archivo local.
• Descargue una copia real de su archivo robots.txt con una herramienta como curl. Por ejemplo:
• Utilice el
  informe de robots.txt
  en Search Console para copiar el contenido de su archivo robots.txt, que luego puede pegar en un archivo en su computadora.

Edite su archivo robots.txt

Abra el archivo robots.txt que descargó de su sitio en un editor de texto y realice las ediciones necesarias en las reglas. Asegúrese de utilizar la
sintaxis correcta
y de guardar el archivo con codificación UTF-8.

Suba su archivo robots.txt

Suba su nuevo archivo robots.txt al directorio raíz de su sitio como un archivo de texto llamado robots.txt. La forma en que sube un archivo a su sitio depende en gran medida de la plataforma y el servidor. Consulte nuestros consejos para obtener ayuda con
la carga de un archivo robots.txt en su sitio.

Actualice la caché de robots.txt de Google

Durante el proceso de rastreo automático, los rastreadores de Google notan los cambios que realizó en su archivo robots.txt y actualizan la versión almacenada en caché cada 24 horas. Si necesita actualizar la caché más rápido, utilice la función “Solicitar un nuevo rastreo” del
informe de robots.txt.