Die Crawl-Delay-Direktive ist ein Befehl innerhalb der robots.txt-Datei einer Website, der Suchmaschinen-Crawlern, insbesondere dem Yandexbot, anweist, eine festgelegte Anzahl von Sekunden zwischen aufeinanderfolgenden Anfragen zu warten. Durch die Implementierung dieser Direktive verwalten Webmaster Serverressourcen effektiver und verhindern, dass der Bot während intensiver Indexierungsphasen die Hosting-Infrastruktur überlastet. Diese Einstellung trägt dazu bei, die Seitengeschwindigkeit für menschliche Besucher aufrechtzuerhalten und gleichzeitig sicherzustellen, dass Suchmaschinen weiterhin in einem nachhaltigen Tempo auf Inhalte zugreifen.
Warum sollten Sie die Crawl-Delay-Direktive für Yandex verwenden?
Die Steuerung, wie oft ein Suchspider Ihre Website besucht, ist ein wesentlicher Bestandteil der technischen Wartung. Wenn ein Server pro Minute Hunderte von Anfragen von einem Spider erhält, muss er CPU-Zyklen und Arbeitsspeicher zuweisen, um jeden Prozess zu bewältigen. Bei Websites mit komplexen Backends oder großen Datenbanken kann diese Ressourcenzuweisung zu langsameren Antwortzeiten für tatsächliche Kunden führen. Der Yandexbot kann recht aktiv sein, und wenn Ihr Server nicht so konfiguriert ist, dass er eine hohe Parallelität bewältigt, bemerken Sie möglicherweise einen Anstieg von 503 Service Unavailable-Fehlern.
Eine hohe Crawl-Frequenz ist im Allgemeinen gut, um neue Inhalte schnell indexiert zu bekommen. Die Stabilität der Website ist jedoch wichtiger. Wenn der Server abstürzt oder sich显著 verlangsamt, leidet die Benutzererfahrung, was sich indirekt auf Ihre Rankings auswirken kann. Durch die Verwendung einer Verzögerung schaffen Sie einen Puffer, der es dem Server ermöglicht, zwischen Bot-Aufrufen durchzuatmen. Dies ist besonders nützlich für Websites, die auf Shared Hosting- oder VPS-Tarifen mit begrenzten Ressourcen laufen.
Wir sehen oft, dass Server mit gleichzeitigen Anfragen von mehreren Bots zu kämpfen haben. Das Festlegen einer spezifischen Verzögerung für den Yandexbot verhindert diese Spitzen, ohne den Indexierungsprozess vollständig zu stoppen. Dies ist ein einfacher, aber effektiver Weg, um die Stabilität zu gewährleisten.
Alien Road SEO-Team
So formatieren Sie die Crawl-Delay-Direktive in robots.txt
Die Syntax für diese Direktive ist unkompliziert, muss jedoch im korrekten Bereich Ihrer robots.txt-Datei platziert werden, damit sie erkannt wird. Yandex sucht spezifisch unter den Blöcken User-agent: Yandex oder User-agent: * nach dieser Anweisung. Der Wert stellt die Anzahl der Sekunden dar, die der Bot warten soll, bevor er eine neue Anfrage startet, nachdem die vorherige abgeschlossen wurde.
- Platzieren Sie die Direktive in einer eigenen Zeile innerhalb der robots.txt-Datei.
- Verwenden Sie einen Doppelpunkt gefolgt von einem Leerzeichen und dann dem numerischen Wert.
- Stellen Sie sicher, dass der Wert eine ganze Zahl oder eine Dezimalzahl ist, wenn die Engine dies unterstützt.
- Die Direktive sollte für eine bessere Kontrolle Teil eines spezifischen User-Agent-Blocks sein.
- Stellen Sie sicher, dass keine widersprüchlichen Allow- oder Disallow-Regeln vorhanden sind, die den Parser verwirren könnten.
Wenn Sie beispielsweise möchten, dass der Yandexbot zwischen den Anfragen 5 Sekunden wartet, sieht Ihre Datei so aus: User-agent: Yandex gefolgt von Crawl-delay: 5 in der nächsten Zeile. Dies teilt dem Spider mit, dass er nur alle fünf Sekunden eine Anfrage stellen darf. Wenn Ihre Website 10.000 Seiten hat, dauert es länger, die gesamte Website zu crawlen, aber die Last auf Ihrem Server bleibt konstant niedrig.
Unterstützt Yandex Bruchwerte für Verzögerungen?
Während viele Webmaster ganze Zahlen wie 1, 2 oder 10 verwenden, zeigt die Yandex-Dokumentation, dass auch Bruchteile akzeptabel sind. Beispielsweise würde ein Wert von 0,5 eine halbe Sekunde Verzögerung bedeuten, was zwei Anfragen pro Sekunde ermöglicht. Dies ist eine aggressivere Einstellung als eine volle Sekunde, bietet aber dennoch eine kleine Lücke, die eine buchstäbliche Flut von Anfragen in einer einzigen Millisekunde verhindern kann.
Es lohnt sich, verschiedene Werte zu testen, um die richtige Balance zu finden. Eine zu lange Verzögerung könnte bedeuten, dass Ihre neuesten Blogbeiträge oder Produktaktualisierungen Wochen brauchen, um in den Suchergebnissen zu erscheinen. Umgekehrt löst eine zu kurze Verzögerung möglicherweise Ihre Serverleistungsprobleme nicht. Die meisten mittelgroßen Websites stellen fest, dass ein Wert zwischen 0,5 und 2,0 für ihre Bedürfnisse gut funktioniert.
Wie Alien Road die Crawl-Delay-Direktive anwendet
Bei einem typischen Engagement beginnt unser Team mit der Überprüfung der Server-Logs und der in den Search Consoles bereitgestellten Crawl-Statistiken. Wir suchen nach Mustern, bei denen die Bot-Aktivität mit hoher Speicherauslastung oder erhöhter Latenz für Benutzer korreliert. Alien Road verwendet einen datengesteuerten Ansatz, um festzustellen, ob eine Verzögerung erforderlich ist oder ob der Server einfach ein besseres Caching benötigt.
- Schritt 1: Analysieren Sie Server-Logs, um die Spitzenfrequenz der Yandexbot-Anfragen zu ermitteln.
- Schritt 2: Vergleichen Sie die Crawl-Zeiten mit den Server-Antwortzeiten (TTFB), um festzustellen, ob der Bot die Website verlangsamt.
- Schritt 3: Implementieren Sie einen konservativen Crawl-Delay-Wert wie 2 in der robots.txt-Datei.
- Schritt 4: Überwachen Sie den Crawl-Statistik-Bericht im Yandex Webmaster, um sicherzustellen, dass der Bot weiterhin wichtige Seiten besucht.
- Schritt 5: Passen Sie den Wert basierend auf der Indexierungsgeschwindigkeit und der Servergesundheit über einen Zeitraum von 14 Tagen an.
Zum Beispiel könnte ein Shopify-Shop, der Luxusgüter verkauft, Tausende von Filterkombinationen haben, die der Yandexbot zu indexieren versucht. Dies kann eine massive Last erzeugen. Durch die Anwendung einer spezifischen Verzögerung stellen wir sicher, dass die Website für Käufer schnell bleibt und Yandex dennoch die wichtigsten Produktseiten entdecken kann. Wir priorisieren die Benutzererfahrung, da eine langsame Website letztendlich sowohl Kunden als auch Such-Rankings verliert.
Können Sie stattdessen Yandex Webmaster Tools verwenden?
Ja, Yandex bietet eine grafische Benutzeroberfläche innerhalb von Yandex Webmaster, um die Crawl-Rate einzustellen. Diese finden Sie im Menü ‘Indexierungseinstellungen’. Das Tool ermöglicht es Ihnen, einen Schieberegler zu bewegen, um die gewünschte Geschwindigkeit anzuzeigen. Diese Methode ist oft einfacher für diejenigen, die sich nicht wohl dabei fühlen, Textdateien auf ihrem Server zu bearbeiten. Die robots.txt-Direktive wird jedoch von vielen technischen SEOs als endgültiger angesehen, da sie sich direkt im Stammverzeichnis der Website befindet.
Wenn Sie sowohl eine Direktive in robots.txt als auch einen Wert im Webmaster-Panel festlegen, folgt Yandex im Allgemeinen der Anweisung im Panel, da es sich um eine neuere und direktere Einstellung handelt. Wir empfehlen, konsistent eine Methode zu verwenden, um Verwirrung zu vermeiden. Wenn Sie einen Entwickler haben, der den Server verwaltet, ist die robots.txt-Datei normalerweise der bessere Ort für diese Konfiguration.
Obwohl die Direktive hilfreich ist, handelt es sich um ein stumpfes Werkzeug. Wir bevorzugen es, sie mit serverseitigem Caching zu kombinieren, um das tatsächliche Verarbeitungsgewicht jedes Bot-Besuchs zu reduzieren. Auf diese Weise muss der Server nicht so hart arbeiten, selbst wenn der Bot häufig besucht.
Alien Road SEO-Team
Was sind die häufigsten Fehler bei dieser Direktive?
Ein großer Fehler ist es, eine viel zu hohe Verzögerung wie 60 Sekunden einzustellen. Eine Verzögerung von 60 Sekunden bedeutet, dass der Bot nur 1.440 Seiten pro Tag crawlen kann. Für eine große E-Commerce-Website mit 500.000 Seiten würde es über ein Jahr dauern, die gesamte Website einmal zu crawlen. Dies zerstört Ihre SEO-Leistung effektiv. Ein weiterer Fehler ist zu vergessen, dass verschiedene Bots unterschiedliche Namen haben. Die Verwendung von ‘User-agent: Googlebot’ mit einem Crawl-Delay beeinflusst Yandex überhaupt nicht.
Syntaxfehler sind ebenfalls häufig. Das Platzieren der Direktive außerhalb eines User-Agent-Blocks macht sie ungültig. Ähnlich führt die Verwendung der falschen Groß- und Kleinschreibung oder Rechtschreibung – wie ‘Crawl-speed’ statt ‘Crawl-delay’ – dazu, dass der Yandexbot die Regel komplett ignoriert. Verwenden Sie immer ein Validator-Tool, um Ihre robots.txt-Datei nach Änderungen zu überprüfen.
Wo Sie diese Woche anfangen sollten
Beginnen Sie damit, Ihr Yandex Webmaster-Konto zu überprüfen, um festzustellen, ob Warnungen zur Serververfügbarkeit vorliegen. Wenn Sie während der Crawl-Zeiten häufige 5xx-Fehler sehen, ist dies ein klares Zeichen dafür, dass Sie eine Verzögerung implementieren müssen. Fügen Sie eine einfache Crawl-delay: 2 zu Ihrer robots.txt-Datei unter dem Yandex-Agenten hinzu. Überwachen Sie Ihre Serverleistung drei Tage lang, um zu sehen, ob sich die CPU-Last stabilisiert. Wenn Sie keine Verbesserung sehen, müssen Sie möglicherweise tiefergehende serverseitige Optimierungen oder Datenbankindexierungen prüfen.