Aktualisieren Sie Ihre robots.txt-Datei

Um die Regeln in Ihrer bestehenden robots.txt-Datei zu aktualisieren, laden Sie eine Kopie Ihrer robots.txt-Datei von Ihrer Website herunter und nehmen Sie die notwendigen Änderungen vor. Laden Sie dann die aktualisierte Datei auf Ihre Website hoch.

Laden Sie Ihre robots.txt-Datei herunter

Sie können Ihre robots.txt-Datei auf verschiedene Weise herunterladen, zum Beispiel:

• Navigieren Sie zu Ihrer robots.txt-Datei, zum Beispiel https://example.com/robots.txt
  und kopieren Sie den Inhalt in eine neue Textdatei auf Ihrem Computer. Stellen Sie sicher, dass Sie die Richtlinien bezüglich des
  Dateiformats
  befolgen, wenn Sie die neue lokale Datei erstellen.
• Laden Sie eine tatsächliche Kopie Ihrer robots.txt-Datei mit einem Tool wie curl herunter. Zum Beispiel:
• Verwenden Sie den
  robots.txt-Bericht
  in der Search Console, um den Inhalt Ihrer robots.txt-Datei zu kopieren, den Sie dann in eine Datei auf Ihrem Computer einfügen können.

Bearbeiten Sie Ihre robots.txt-Datei

Öffnen Sie die von Ihrer Website heruntergeladene robots.txt-Datei in einem Texteditor und nehmen Sie die notwendigen Änderungen an den Regeln vor. Stellen Sie sicher, dass Sie die
korrekte Syntax
verwenden und die Datei mit UTF-8-Kodierung speichern.

Laden Sie Ihre robots.txt-Datei hoch

Laden Sie Ihre neue robots.txt-Datei als Textdatei mit dem Namen robots.txt in das Stammverzeichnis Ihrer Website hoch. Die Art und Weise, wie Sie eine Datei auf Ihre Website hochladen, hängt stark von der Plattform und dem Server ab. Sehen Sie sich unsere Tipps zur Hilfe beim
Hochladen einer robots.txt-Datei auf Ihre Website.

Aktualisieren Sie den robots.txt-Cache von Google

Während des automatischen Crawling-Prozesses bemerken die Crawler von Google Änderungen, die Sie an Ihrer robots.txt-Datei vorgenommen haben, und aktualisieren die zwischengespeicherte Version alle 24 Stunden. Wenn Sie den Cache schneller aktualisieren müssen, verwenden Sie die Funktion “Erneutes Crawling anfordern” des
robots.txt-Berichts.