Crawling im Dezember: CDNs und Crawling

Dienstag, 24. Dezember 2024

Content Delivery Networks (CDNs) eignen sich besonders gut, um die Latenz Ihrer Website zu verringern und generellen Ärger im Zusammenhang mit Web-Traffic fernzuhalten. Schließlich ist das ihr Hauptzweck: die zügige Auslieferung Ihrer Inhalte, selbst wenn Ihre Website stark frequentiert wird. Das “D”
in CDN dient der Bereitstellung oder Verteilung von Inhalten auf der ganzen Welt, sodass die Übertragungszeiten zu Ihren Benutzern auch kürzer sind als beim einfachen Hosting in einem Rechenzentrum irgendwo. In diesem Beitrag untersuchen wir, wie Sie CDNs so nutzen können, dass das Crawling und die Benutzererfahrung auf Ihrer Site verbessert werden, und wir betrachten auch einige Nuancen beim Crawling von CDN-gestützten Sites.

Rückblick: Was ist ein CDN?

CDNs sind im Grunde ein Vermittler zwischen Ihrem Ursprungsserver (auf dem Ihre Website lebt) und dem Endbenutzer und stellen (einige) Dateien für ihn bereit. Historisch,
Der größte Fokus von CDNs liegt auf dem Caching, was bedeutet, dass, sobald ein Benutzer eine URL von Ihrer Site anfordert, CDNs den Inhalt dieser URL für eine gewisse Zeit in ihren Caches speichern, damit Ihr Server diese Datei eine Weile nicht erneut bereitstellen muss.

CDNs können Ihre Website drastisch beschleunigen , indem sie Benutzer von einem Standort in ihrer Nähe bedienen. Angenommen, ein Benutzer in Australien greift auf eine in Deutschland gehostete Website zu, bedient ein CDN diesen Benutzer über seine Caches in Australien, wodurch der Hin- und Rückweg über den Globus verkürzt wird. Lichtgeschwindigkeit hin oder her,
die Distanz ist immer noch recht groß.

Und schließlich,
CDNs sind ein fantastisches Werkzeug, um Ihre Website vor Überlastung und einigen Sicherheitsbedrohungen zu schützen. Angesichts der Menge an globalem Traffic, die CDNs verwalten, können sie zuverlässige Traffic-Modelle erstellen, um Traffic-Anomalien zu erkennen und Zugriffe zu blockieren, die übermäßig oder böswillig erscheinen. Zum Beispiel am 21. Oktober 2024,
Die Systeme von Cloudflare
autonom einen 4.2er erkannt und entschärft
Tbps
(Red: das ist viel) DDoS-Angriff, der etwa eine Minute dauerte.

Wie CDNs Ihrer Website helfen können

Sie haben vielleicht die schnellsten Server und den besten Uplink, den man für Geld kaufen kann, und glauben vielleicht, dass Sie nichts beschleunigen müssen, aber CDNs können Ihnen auf lange Sicht Geld sparen, insbesondere wenn Ihre Website groß ist:

• Caching auf dem CDN: Wenn Ressourcen wie Medien, JavaScript und CSS oder sogar Ihr HTML aus den Caches eines CDN bereitgestellt werden, müssen Ihre Server keine Rechenleistung und Bandbreite für die Bereitstellung dieser Ressourcen aufwenden, wodurch die Serverlast im Prozess reduziert wird. Dies bedeutet in der Regel auch, dass Seiten in den Browsern der Benutzer schneller geladen werden
  korreliert mit besseren Conversions.
• Schutz vor Traffic-Fluten: CDNs eignen sich besonders gut zur Identifizierung und Blockierung von übermäßigem oder böswilligem Traffic, sodass Ihre Benutzer Ihre Website auch dann besuchen können, wenn sich schlecht benehmende Bots oder Übeltäter Ihre Server überlasten würden.
  Abgesehen vom Flutschutz können dieselben Steuerungen, die zum Blockieren von schlechtem Traffic verwendet werden, auch zum Blockieren von Traffic verwendet werden, den Sie einfach nicht möchten, seien es bestimmte Crawler, Clients, die in ein bestimmtes Muster passen, oder einfach Trolle, die immer dieselbe IP-Adresse verwenden. Während Sie dies auch auf Ihrem Server oder Ihrer Firewall tun können, ist es normalerweise viel einfacher, die Benutzeroberfläche eines CDN zu verwenden.
• Zuverlässigkeit: Einige CDNs können Benutzern Ihre Website auch dann zur Verfügung stellen, wenn Ihre Website ausfällt. Dies funktioniert natürlich möglicherweise nur für statische Inhalte, aber das reicht möglicherweise bereits aus, um sicherzustellen, dass sie ihr Geschäft nicht woanders hin verlegen.

Kurz gesagt, CDNs sind Ihre Freunde und wenn Ihre Website groß ist oder Sie große Mengen an Traffic erwarten (oder sogar schon erhalten!), möchten Sie vielleicht eine finden, die Ihren Bedürfnissen entspricht, basierend auf Faktoren wie Preis, Leistung, Zuverlässigkeit, Sicherheit, Kundensupport, Skalierbarkeit, zukünftiger Expansion. Erkundigen Sie sich bei Ihrem Hosting- oder CMS-Anbieter, um Ihre Optionen zu erfahren (und ob Sie bereits eines nutzen).

Wie sich das Crawling auf Websites mit CDNs auswirkt

Was das Crawling betrifft, können CDNs auch hilfreich sein, aber sie können einige Crawling-Probleme verursachen (wenn auch selten). Bleiben Sie dran.

Die Auswirkung von CDNs auf die Crawl-Rate

Unsere Crawling-Infrastruktur ist so konzipiert, dass sie höhere Crawl-Raten auf Websites ermöglicht, die durch ein CDN unterstützt werden, was aus der IP-Adresse des Dienstes abgeleitet wird, der die URLs bereitstellt, auf die unsere Crawler zugreifen. Das funktioniert gut, zumindest meistens.

Angenommen, Sie starten heute eine Stock-Foto-Site und haben zufällig 1.000.007 Bilder auf… Lager. Sie starten Ihre Website mit einer Landingpage, Kategorieseiten und Detailseiten für all Ihre Sachen – am Ende haben Sie also eine Menge Seiten. Wir erklären in unserer Dokumentation weiter
Crawl-Kapazitätslimit
, dass, obwohl die Google-Suche all diese Seiten so schnell wie möglich crawlen möchte, das Crawling auch Ihre Server nicht überlasten sollte. Wenn Ihr Server bei einer erhöhten Anzahl von Crawling-Anfragen langsam zu reagieren beginnt, wird auf der Seite von Google eine Drosselung angewendet, um eine Überlastung Ihres Server zu verhindern. Die Schwelle für diese Drosselung ist viel höher, wenn unsere Crawling-Infrastruktur erkennt, dass Ihre Site durch ein CDN unterstützt wird, und davon ausgeht, dass es in Ordnung ist, mehr gleichzeitige Anfragen zu senden, da Ihr Server dies höchstwahrscheinlich verarbeiten kann, wodurch Ihr Webshop schneller gecrawlt wird.

Beim ersten Zugriff auf eine URL ist der Cache des CDN jedoch „kalt“, was bedeutet, dass, da noch niemand diese URL angefordert hat, ihre Inhalte noch nicht vom CDN zwischengespeichert wurden, sodass Ihr Ursprungsserver diese URL mindestens einmal bereitstellen muss, um den Cache des CDN „aufzuwärmen“. Das ist sehr ähnlich wie
wie HTTP-Caching funktioniert, auch.

Kurz gesagt: Selbst wenn Ihr Webshop durch ein CDN unterstützt wird, muss Ihr Server diese 1.000.007 URLs mindestens einmal ausliefern. Erst nach diesem ersten Aufruf kann Ihr CDN Ihnen mit seinen Caches helfen. Das ist eine erhebliche Belastung für Ihr „Crawl-Budget“, und die Crawl-Rate wird wahrscheinlich einige Tage lang hoch sein; behalten Sie das im Hinterkopf, wenn Sie viele URLs auf einmal veröffentlichen möchten.

Der Einfluss von CDNs auf das Rendering

Wie wir in unserem ersten
Blogbeitrag vom Dezember zum Thema Ressourcen-Crawling erklärt haben, kann das Auslagern von Ressourcen auf einen eigenen Hostnamen oder einen CDN-Hostnamen (cdn.example.com) es unserem Web Rendering Service (WRS) ermöglichen, Ihre Seiten effizienter zu rendern. Dies ist jedoch mit einem Vorbehalt verbunden: Diese Praxis kann die Seitenleistung aufgrund des Overheads einer Verbindung zu einem anderen Hostnamen negativ beeinflussen, daher müssen Sie sorgfältig abwägen
das Nutzererlebnis mit der Rendering-Leistung.

Wenn Sie Ihren Haupt-Host mit einem CDN absichern, vermeiden Sie dieses Problem: ein Hostname zum Abfragen, und die kritischen Rendering-Ressourcen werden wahrscheinlich aus dem Cache des CDN bereitgestellt, sodass Ihr Server sie nicht bereitstellen muss (und keine Beeinträchtigung des Nutzererlebnisses).

Wählen Sie am Ende die Lösung, die für Ihr Unternehmen am besten funktioniert: Haben Sie einen separaten Hostnamen (cdn.example.com) für statische Ressourcen, sichern Sie Ihren Haupt-Hostnamen mit einem CDN ab oder tun Sie beides. Die Crawling-Infrastruktur von Google unterstützt beide Optionen problemlos.

Wenn CDNs übervorsichtig sind

Aufgrund des Schutzmechanismus von CDNs gegen Datenfluten und der Art und Weise, wie Crawler nun mal crawlen, kann es vorkommen, dass die Bots, die Sie আসলে auf Ihrer Website haben möchten, auf der Sperrliste Ihres CDN landen, typischerweise in dessen Web Application Firewall (WAF). Dies hindert Crawler daran, auf Ihre Website zuzugreifen, was letztendlich verhindern kann, dass Ihre Website in den Suchergebnissen erscheint. Die Sperre kann auf verschiedene Weisen erfolgen, einige schädlicher für die Präsenz einer Website in den Google-Suchergebnissen als andere, und es kann für Sie schwierig (oder unmöglich) sein, dies zu kontrollieren, da es auf Seiten des CDN geschieht. Für die Zwecke dieses Blogbeitrags unterteilen wir sie in zwei Kategorien: harte Sperren und weiche Sperren.

Harte Sperren

Harte Sperren liegen vor, wenn das CDN eine Antwort auf eine Crawl-Anfrage sendet, die in irgendeiner Form ein Fehler ist. Dies können sein:

• HTTP 503/429 Statuscodes: Das Senden
  dieser Statuscodes ist der bevorzugte Weg
  , um eine temporäre Blockade zu signalisieren. Dies gibt Ihnen etwas Zeit, auf unbeabsichtigte Blockaden durch das CDN zu reagieren.
• Netzwerk-Timeouts: Netzwerk-Timeouts vom CDN führen dazu, dass die betroffenen URLs aus dem Google-Suchindex entfernt werden, da diese
  Netzwerkfehler als endgültige, „harte“ Fehler angesehen werden. Darüber hinaus können sie auch die Crawl-Rate Ihrer Website erheblich beeinträchtigen, da sie unserer Crawl-Infrastruktur signalisieren, dass die Website überlastet ist.
• Zufällige Fehlermeldung mit einem HTTP 200 Statuscode: Auch bekannt als
  weiche Fehler, ist dies besonders schlimm. Wenn die Fehlermeldung von Google als „harte“ Fehler eingestuft wird (z. B. ein HTTP 500), entfernt Google die URL aus der Suche. Wenn Google die Fehlermeldungen nicht als „harte“ Fehler erkennen kann, werden möglicherweise alle Seiten mit derselben Fehlermeldung als Duplikate aus dem Google-Suchindex entfernt. Da die Google-Indexierung wenig Anreiz hat, ein erneutes Crawlen von doppelten URLs anzufordern, kann die Wiederherstellung länger dauern.

Weiche Sperren

Ein ähnliches Problem kann auftreten (Wabsichtliches Wortspiel), wenn Ihr CDN diese „Sind Sie ein Mensch?“-Interstitial-Seiten anzeigt.

Unsere Crawler sind tatsächlich davon überzeugt, dass sie KEINE Menschen sind und auch nicht so tun, als wären sie welche. Sie wollen einfach nur crawlen. Wenn jedoch das Interstitial erscheint, ist das alles, was sie sehen, und nicht Ihre großartige Website. Bei diesen Bot-Verifizierungs-Interstitials empfehlen wir dringend, ein klares Signal in Form eines 503-HTTP-Statuscodes an automatisierte Clients wie Crawler zu senden, dass der Inhalt vorübergehend nicht verfügbar ist. Dadurch wird sichergestellt, dass der Inhalt nicht automatisch aus dem Google-Index entfernt wird.

Fehlerbehebung bei Blockaden

Sowohl bei harten als auch bei weichen Blockaden ist der einfachste Weg, um zu überprüfen, ob alles ordnungsgemäß funktioniert,
das URL-Prüfungstool in der Search Console
zu verwenden und das gerenderte Bild zu betrachten: Wenn es Ihre Seite anzeigt, ist alles in Ordnung; wenn es eine leere Seite, einen Fehler oder eine Seite mit einer Bot-Herausforderung anzeigt, sollten Sie möglicherweise mit Ihrem CDN darüber sprechen.

Um bei diesen unbeabsichtigten Blockierungen zu helfen, veröffentlichen Google, andere Suchmaschinen und andere Crawler-Betreiber zusätzlich
unsere IP-Adressen um Ihnen zu helfen, unsere Crawler zu identifizieren und, falls Sie dies für angebracht halten, die blockierten IPs aus den WAF-Regeln zu entfernen oder sie sogar auf eine Whitelist zu setzen. Wo Sie das tun können, hängt von dem von Ihnen genutzten CDN ab; glücklicherweise haben die meisten CDNs und eigenständigen WAFs eine fantastische Dokumentation. Hier sind einige, die wir mit ein wenig Suchen finden konnten (Stand bei Veröffentlichung dieses Beitrags):

• Cloudflare: https://developers.cloudflare.com/bots/get-started/free/#visibility
• Akamai: https://www.akamai.com/products/bot-manager
• Fastly: https://www.fastly.com/products/bot-management
• F5: https://clouddocs.f5.com/bigip-next/20-2-0/waf_management/waf_bot_protection.html
• Google Cloud: https://cloud.google.com/armor/docs/bot-management

Wenn Ihre Website in Suchmaschinen erscheinen soll, empfehlen wir dringend zu prüfen, ob die für Sie relevanten Crawler auf Ihre Website zugreifen können. Denken Sie daran, dass die IPs unbemerkt automatisch auf einer Blocklist landen können. Daher ist es für den Erfolg Ihrer Website in der Suche und darüber hinaus ratsam, die Blocklists ab und zu zu überprüfen. Wenn die Blocklist sehr lang ist (ähnlich wie dieser Blogbeitrag), versuchen Sie, stattdessen nur nach den ersten Segmenten der IP-Bereiche zu suchen, anstatt nach 192.168.0.101 können Sie einfach nach 192.168.

Dies war der letzte Beitrag in unserer
Blogbeitragsreihe Crawling December, wir hoffen, sie haben Ihnen genauso viel Freude bereitet wie uns das Schreiben. Wenn Sie… bla bla bla… Sie kennen das Spiel.

Veröffentlicht von
Martin Splitt und
Gary Illyes

Möchten Sie mehr über Crawling erfahren? Schauen Sie sich die gesamte Crawling December-Reihe an: