Googlebot spricht bald HTTP/2

Donnerstag, 17. September 2020

Ab November 2020 wird Googlebot damit beginnen, einige Websites über HTTP/2 zu crawlen.

Seit gängige Browser die nächste große Revision von HTTP unterstützen,
HTTP/2 oder kurz h2
Web-Profis fragten uns,

ob Googlebot die aktualisierte, modernere Version des Protokolls beim Crawlen verwenden kann.

Heute geben wir bekannt, dass Googlebot ab Mitte November 2020 das Crawlen über HTTP/2 für ausgewählte Websites unterstützt.

Was ist HTTP/2 Wie bereits erwähnt, ist dies die nächstegroße Version von HTTP
, dem Protokoll, das das Internet hauptsächlich für die Datenübertragung verwendet. HTTP/2 ist aufgrund seiner Architektur und der Funktionen, die es für Clients (z. B. Ihren Browser) und Server implementiert, wesentlich robuster, effizienter und schneller als sein Vorgänger. Wenn Sie mehr darüber lesen möchten, haben wir einen ausführlichen Artikel zum.

HTTP/2-Thema

Warum wir diese Änderung vornehmen

Im Allgemeinen erwarten wir, dass diese Änderung das Crawlen im Hinblick auf die Serverressourcennutzung effizienter macht. Mit h2 kann Googlebot eine einzige TCP-Verbindung zum Server öffnen und darüber effizient mehrere Dateien parallel übertragen, anstatt mehrere Verbindungen zu benötigen. Je weniger Verbindungen offen sind, desto weniger Ressourcen müssen der Server und Googlebot für das Crawlen aufwenden.

Wie es funktioniert

In der ersten Phase werden wir eine kleine Anzahl von Websites über h2 crawlen und schrittweise auf mehr Websites ausweiten, die von den anfangs unterstützten Funktionen wie Request-Multiplexing profitieren können.

Googlebot entscheidet, welche Website über h2 gecrawlt wird, basierend darauf, ob die Website h2 unterstützt und ob die Website und Googlebot vom Crawlen über HTTP/2 profitieren würden. Wenn Ihr Server h2 unterstützt und Googlebot bereits viel von Ihrer Website crawlt, sind Sie möglicherweise bereits für das Verbindungs-Upgrade berechtigt und müssen nichts unternehmen.

Wenn Ihr Server immer noch nur HTTP/1.1 spricht, ist das auch in Ordnung. Es gibt keinen expliziten Nachteil beim Crawlen über dieses Protokoll; das Crawlen bleibt in Bezug auf Qualität und Quantität gleich.

Wie man sich abmeldet Unsere vorläufigen Tests zeigten keine Probleme oder negativen Auswirkungen auf die Indexierung, aber wir verstehen, dass Sie Ihre Website aus verschiedenen Gründen vom Crawlen über HTTP/2 abmelden möchten. Dies können Sie tun, indem Sie den Server anweisen, mit einem 421 HTTP-Statuscode
zu antworten, wenn Googlebot versucht, Ihre Website über h2 zu crawlen. Wenn dies im Moment nicht möglich ist, können Sie
eine Nachricht an das Googlebot-Team senden

(diese Lösung ist jedoch vorübergehend).
Wenn Sie weitere Fragen zu Googlebot und HTTP/2 haben, lesen Sie dieFragen, von denen wir dachten, dass Sie sie stellen könnten . Wenn Sie Ihre Frage nicht finden können, schreiben Sie uns auf Twitter
und in den.

Hilfeforen
Veröffentlicht von Jin Liang und

Gary Illyes

Fragen, von denen wir dachten, dass Sie sie stellen könnten

Warum aktualisieren Sie Googlebot jetzt?

Die Software, mit der wir Googlebot das Crawlen über h2 ermöglichen, ist ausgereift genug, um in der Produktion eingesetzt zu werden.

Muss ich meinen Server so schnell wie möglich aktualisieren?

Das liegt ganz bei Ihnen. Wir werden jedoch nur zum Crawlen über h2 auf Websites wechseln, die dies unterstützen und eindeutig davon profitieren. Wenn es keinen klaren Vorteil für das Crawlen über h2 gibt, crawlt Googlebot weiterhin über h1.

Wie teste ich, ob meine Website h2 unterstützt? Cloudflare

hat einen Blogbeitrag mit einer Fülle verschiedener Methoden zum Testen, ob eine Website h2 unterstützt – schauen Sie ihn sich an!

Wie aktualisiere ich meine Website auf h2?

Das hängt stark von Ihrem Server ab. Wir empfehlen, mit Ihrem Serveradministrator oder Hosting-Anbieter zu sprechen.

Wie überzeuge ich Googlebot, mit meiner Website h2 zu sprechen?

Das können Sie nicht. Wenn die Website h2 unterstützt, ist sie für das Crawlen über h2 berechtigt, aber nur, wenn dies für die Website und Googlebot von Vorteil wäre. Wenn das Crawlen über h2 beispielsweise nicht zu spürbaren Ressourceneinsparungen führen würde, würden wir die Website einfach weiterhin über HTTP/1.1 crawlen.

Warum crawlen Sie nicht jede h2-fähige Website über h2?

Bei unseren Evaluierungen haben wir bei bestimmten Websites (z. B. solchen mit sehr geringem QPS) kaum oder gar keinen Nutzen beim Crawlen über h2 festgestellt. Daher haben wir beschlossen, das Crawlen nur dann auf h2 umzustellen, wenn es einen klaren Nutzen für die Website gibt. Wir werden die Leistungssteigerungen weiter bewerten und unsere Kriterien für den Wechsel in Zukunft möglicherweise ändern.

Woher weiß ich, ob meine Website über h2 gecrawlt wird?

Wenn eine Website für das Crawlen über h2 infrage kommt, erhalten die in der Search Console registrierten Eigentümer dieser Website eine Nachricht, dass ein Teil des Crawling-Traffic in Zukunft über h2 erfolgen kann. Sie können dies auch in Ihren Serverprotokollen überprüfen (z. B. in der Datei access.log, wenn Ihre Website auf Apache läuft).

Welche h2-Funktionen werden von Googlebot unterstützt?

Googlebot unterstützt die meisten von h2 eingeführten Funktionen. Einige Funktionen wie Server Push, die für das Rendering von Vorteil sein könnten, werden noch evaluiert.

Unterstützt Googlebot Klartext-HTTP/2 (h2c)?

Nein. Ihre Website muss HTTPS verwenden und HTTP/2 unterstützen, um für das Crawlen über HTTP/2 berechtigt zu sein. Dies entspricht der Handhabung durch moderne Browser.

Wird Googlebot die ALPN-Erweiterung verwenden, um zu entscheiden, welche Protokollversion für das Crawlen verwendet werden soll?

Application-layer Protocol Negotiation (ALPN) wird nur für Websites verwendet, die für das Crawlen über h2 angemeldet sind, und das einzige akzeptierte Protokoll für Antworten ist h2. Wenn der Server während des TLS-Handshakes mit einer anderen Protokollversion als h2 antwortet, bricht Googlebot ab und kommt später auf HTTP/1.1 zurück.

Wie helfen verschiedene h2-Funktionen beim Crawlen?

• Zu den vielen, aber prominentesten Vorteilen von h2 gehören:Multiplexing und Concurrency
• : Weniger offene TCP-Verbindungen bedeuten weniger aufgewendete Ressourcen.Header-Kompression
• : Drastisch reduzierte HTTP-Header-Größen sparen Ressourcen.Server Push

: Diese Funktion ist noch nicht aktiviert; sie befindet sich noch in der Evaluierungsphase. Sie kann für das Rendering von Vorteil sein, aber wir haben dazu im Moment nichts Spezielles zu sagen.
Wenn Sie mehr über spezifische h2-Funktionen und deren Beziehung zum Crawlen wissen möchten, fragen Sie uns auf.

Twitter

Wird Googlebot über h2 mehr oder schneller crawlen?

Der Hauptvorteil von h2 sind Ressourceneinsparungen, sowohl auf Serverseite als auch auf Googlebot-Seite. Ob wir h1 oder h2 zum Crawlen verwenden, hat keinen Einfluss darauf, wie Ihre Website indiziert wird, und hat daher keinen Einfluss darauf, wie viel wir von Ihrer Website crawlen möchten.

Gibt es einen Ranking-Vorteil für eine Website, wenn sie über h2 gecrawlt wird?