Wenn die Indexierung schiefgeht: Wie Google Search sich von Indexierungsproblemen erholt hat und die seitdem gewonnenen Erkenntnisse

Montag, 12. August 2019

Meistens läuft unsere Suchmaschine einwandfrei. Unsere Teams arbeiten hart daran, technische Probleme zu verhindern, die Nutzer betreffen könnten, die im Web suchen, oder Webmaster, deren Websites wir indexieren und Nutzern bereitstellen. Ebenso laufen die zugrundeliegenden Systeme, mit denen wir die Suchmaschine betreiben, meistens wie vorgesehen. Wenn kleine Störungen auftreten, sind sie für niemanden sichtbar außer für unsere Teams, die sicherstellen, dass unsere Produkte betriebsbereit sind. Wie bei allen komplexen Systemen kann es jedoch manchmal zu größeren Ausfällen kommen, die zu Störungen sowohl für Nutzer als auch für Website-Ersteller führen können.

In den letzten Monaten kam es zu einer solchen Situation bei unseren Indexierungssystemen, die sich auf einige andere Teile unserer Infrastruktur auswirkte. Während wir so schnell wie möglich daran arbeiteten, die Situation zu beheben, entschuldigen wir uns für die Unterbrechung, da unser Ziel darin besteht, unseren Nutzern und dem Web-Ökosystem kontinuierlich hochwertige Produkte anzubieten.

Seitdem haben wir die Situation genauer und sorgfältig unter die Lupe genommen. Dabei haben wir einige Lehren gezogen, die wir heute mit Ihnen teilen möchten. In diesem Blogbeitrag gehen wir näher darauf ein, was passiert ist, erläutern, wie wir in Zukunft bei solchen Ereignissen besser kommunizieren wollen, und erinnern Website-Besitzer an die Kanäle, über die sie mit uns kommunizieren können.

Was ist also vor einigen Monaten passiert?

Im April hatten wir mehrere Probleme im Zusammenhang mit unserem Index. Der Suchindex ist die Datenbank, die Hunderte von Milliarden Webseiten enthält, die wir im Web gecrawlt haben und die unserer Meinung nach einige Suchanfragen unserer Nutzer beantworten könnten. Wenn ein Nutzer eine Anfrage in die Google-Suchmaschine eingibt, sortieren unsere Ranking-Algorithmen diese Seiten in unserem Suchindex durch, um in Bruchteilen einer Sekunde die relevantesten und nützlichsten Ergebnisse zu finden. Hier sind weitere Informationen darüber, was passiert ist.

1. Das Indexierungsproblem

Zu Beginn haben wir vorübergehend einen Teil des Suchindex verloren.

Moment… Was? Was meinst du mit „einen Teil des Index verloren“? Ist das überhaupt möglich?

Grundsätzlich „reist“ die Suchanfrage des Nutzers bei der Bereitstellung von Suchergebnissen für Nutzer zur Beschleunigung des Dienstes nur bis zu dem unserer Rechenzentren, das das Google Search-Produkt unterstützt, von dem aus die Suchergebnisseite (SERP) generiert wird. Wenn also Änderungen an der Zusammensetzung des Index vorgenommen werden (einige Seiten werden hinzugefügt und entfernt, Dokumente werden zusammengeführt oder andere Arten von Datenänderungen), müssen diese Änderungen in allen diesen Rechenzentren widergespiegelt werden. Die Konsequenz ist, dass Nutzern auf der ganzen Welt konsistent Seiten aus der neuesten Version des Index bereitgestellt werden.

Den Index über all diese Rechenzentren hinweg einheitlich zu halten, ist keine triviale Aufgabe. Bei großen nutzerorientierten Diensten können wir Updates bereitstellen, indem wir in einem Rechenzentrum beginnen und diese erweitern, bis alle relevanten Rechenzentren aktualisiert sind. Bei sensiblen Teilen der Infrastruktur können wir eine Einführung über mehrere Tage ausdehnen und sie über Instanzen in verschiedenen geografischen Regionen verschachteln.
Quelle.

Als wir also einige geplante Änderungen am Suchindex vorgereichten, brachen am 5. April Teile des Bereitstellungssystems zusammen, und das an einem Freitag! Genauer gesagt: Als wir den Index über einige unserer Rechenzentren aktualisierten, ging eine kleine Anzahl von Dokumenten versehentlich aus dem Index verloren. Daher: „Wir haben einen Teil des Index verloren.“

Glücklicherweise haben unsere
Rufbereitschafts-Ingenieure
das Problem rechtzeitig erkannt, zeitgleich mit dem Aufkommen von Diskussionen in den sozialen Medien (vielen Dank an alle, die uns an diesem Wochenende benachrichtigt haben!). Infolgedessen konnten wir nur wenige Stunden nach Aufdeckung des Problems damit beginnen, den Suchindex in allen Rechenzentren auf seinen vorherigen stabilen Zustand zurückzusetzen (wir bewahren Backups unserer Indizes auf, falls solche Ereignisse eintreten).

Wir haben am Sonntag,
7. April
kommuniziert, dass wir uns des Problems bewusst waren und sich die Dinge wieder zu normalisieren begannen. Da Rechenzentren schrittweise zu einem stabilen Index zurückkehrten, haben wir auf Twitter weiter aktualisiert (am
8. April,
9. April), bis wir zuversichtlich waren, dass alle Rechenzentren am
11. April.

wieder vollständig zu einer vollständigen Version des Index zurückgekehrt waren

2. Das Search Console-Problem Search Console

ist die Sammlung von Tools und Berichten, die jeder Webmaster verwenden kann, um auf Daten zur Leistung seiner Website in der Suche zuzugreifen. Sie zeigt beispielsweise an, wie viele Impressionen und Klicks eine Website jeden Tag in den organischen Suchergebnissen erhält oder Informationen darüber, welche Seiten einer Website in den Suchindex aufgenommen und ausgeschlossen wurden.

• Als Folge der oben beschriebenen Probleme des Suchindex begann auch die Search Console Unstimmigkeiten anzuzeigen. Dies liegt daran, dass einige der in der Search Console auftauchenden Daten aus dem Suchindex selbst stammen:
  Indexabdeckungsbericht
  hängt davon ab, dass der Suchindex über Rechenzentren hinweg konsistent ist.
• wenn wir eine Seite im Suchindex speichern, können wir den Eintrag mit wichtigen Signalen über die Seite kommentieren, wie beispielsweise der Tatsache, dass die Seite Markup für Rich Results enthält. Daher kann ein Problem mit dem Suchindex Auswirkungen auf die
  Rich Results-Berichte
  in der Search Console haben.

Grundsätzlich lesen viele individuelle Berichte der Search Console Daten aus einer dedizierten Datenbank. Diese Datenbank wird teilweise unter Verwendung von Informationen aufgebaut, die aus dem Suchindex stammen. Da wir auf eine vorherige Version des Suchindex zurückgreifen mussten, mussten wir auch das Aktualisieren der Search Console-Datenbank pausieren. Dies führte zu stagnierenden Daten für einige Berichte (und Unregelmäßigkeiten bei anderen, wie dem URL-Prüfungstool).

Da das gesamte Suchindex-Problem mehrere Tage dauerte, um es rückgängig zu machen (siehe Erklärung oben), wurde unsere Konzentration auf die Behebung der Search Console-Datenbank erst einige Tage später verzögert, nachdem die Indexierungsprobleme behoben waren. Wir haben am 15. April kommuniziert –
Tweet
– dass die Search Console Probleme hatte und wir daran arbeiteten, diese zu beheben, und wir unsere Korrekturen am 28. April abgeschlossen haben (der Tag, an dem die Berichte wieder begannen, frische Daten zu sammeln, siehe Grafik oben). Wir haben am 30. April auf Twitter kommuniziert, dass das Problem behoben ist-
Tweet.

3. Andere Probleme, die nichts mit dem Haupt-Indexing-Bug zu tun haben

Google Search stützt sich auf eine Reihe von Systemen, die Hand in Hand arbeiten. Während einige dieser Systeme eng miteinander verknüpft sein können, treten in einigen Fällen gleichzeitig und unabhängig voneinander Probleme in verschiedenen Teilen des Systems auf.

Im vorliegenden Fall hatten wir beispielsweise ungefähr zur gleichen Zeit wie den oben erklärten Haupt-Indexing-Bug auch kurze Probleme beim Sammeln von frischen Google News-Inhalten. Darüber hinaus begannen bestimmte URLs beim Rendern von Seiten, Googlebot auf andere, unzusammenhängende Seiten umzuleiten. Diese Probleme standen in keinem Zusammenhang mit dem Indexing-Bug und wurden schnell behoben (Tweet 1
und Tweet 2).

Unsere Kommunikation und wie wir es in Zukunft besser machen wollen

Zusätzlich zur Kommunikation in den sozialen Medien (wie oben hervorgehoben) während dieser wenigen Wochen gaben wir Webmastern auch in zwei anderen Kanälen mehr Details: der Search Console sowie der Search Console-Hilfe.

In der Search Console-Hilfe

Wir haben unsere “Datenanomalien in der Search Console“-Hilfeseite aktualisiert, nachdem das Problem vollständig identifiziert worden war. Diese Seite wird verwendet, um Informationen über Datenunterbrechungen unseres Search Console-Dienstes zu kommunizieren, wenn die Auswirkungen eine große Anzahl von Website-Betreibern betreffen.

In der Search Console

Da wir wissen, dass nicht alle unsere Nutzer soziale Medien oder die externe Hilfeseite lesen, haben wir auch Anmerkungen zu Search Console-Berichten hinzugefügt, um die Nutzer darüber zu informieren, dass die Daten möglicherweise nicht korrekt sind (siehe Bild unten). Wir haben diese Information nach der Behebung der Bugs hinzugefügt. Ein Klick auf “Hier weitere Details ansehen” leitet Nutzer zur Seite “Datenanomalien” in der Hilfe weiter.

Zukünftige Kommunikation

Wenn bei Google etwas schiefgeht, pflegen wir eine starke “Postmortem”-Kultur: ein Dokument erstellen, um den Vorfall auszuwerten und zu versuchen, ein Wiederholen beim nächsten Mal zu vermeiden. Der gesamte Prozess wird genauer beschrieben auf der
Google Site Reliability Engineering-Website.

Nach den Indexierungsproblemen im April haben wir in das Postmortem aufgenommen, wie wir bei großen Systemausfällen besser mit Webmastern kommunizieren können. Unsere wichtigsten Entscheidungen waren:

1. Möglichkeiten untersuchen, um Informationen über weit verbreitete Bugs schneller innerhalb der Search Console selbst zu teilen, und diese Informationen als Hauptreferenzpunkt für Webmaster dienen zu lassen, falls sie Ausfälle vermuten.
2. Schneller auf der Hilfeseite zu den Datenanomalien der Search Console posten, wenn dies relevant ist (wenn die Störung langfristig in den Search Console-Daten zu sehen sein wird).
3. Weiterhin so schnell wie möglich über solche Probleme twittern, um Webmaster rasch zu beruhigen, dass wir uns des Problems bewusst sind und es auf unserer Seite liegt.

Diese Selbstverpflichtungen sollten potenziell ähnliche Situationen in Zukunft für Webmaster insgesamt transparenter machen.

Unsere Vorsätze in die Tat umsetzen: Die Fallstudie “neue URLs nicht indexiert”

Am 22. Mai haben wir unsere neue Kommunikationsstrategie getestet, als wir auf ein weiteres Problem stießen. Das ist passiert: Beim Verarbeiten bestimmter URLs ging unserem System zur Duplikatsverwaltung nach einem geplanten Infrastruktur-Upgrade der Arbeitsspeicher aus, wodurch die Verarbeitung aller eingehenden URLs stoppte.

Hier ist eine Zeitleiste darüber, wie wir über die Kommunikation nachgedacht haben, basierend auf den drei Punkten, die direkt oben hervorgehoben wurden:

1. Wir haben das Problem bemerkt (gegen 5:30 Uhr kalifornischer Zeit am 22. Mai)
   
   Wir haben
   getwittert
   über das laufende Problem (gegen 6:40 Uhr kalifornischer Zeit am 22. Mai)
   
   Wir haben
   getwittert
   über die Behebung (gegen 22:00 Uhr kalifornischer Zeit am 22. Mai)
2. Wir haben erwogen, die “Datenanomalien”-Seite in der Hilfe zu aktualisieren, uns aber dagegen entschieden, da wir für die Mehrheit der Search Console-Daten der Webmaster langfristig keine Auswirkungen erwarteten.
3. Die Verwirrung, die dieses Problem für viele erzeugte, bestätigte unsere früheren Schlussfolgerungen, dass wir eine Möglichkeit brauchen, in der Search Console selbst klarer zu signalisieren, wenn es eine Störung in einem unserer Systeme geben könnte, die Webmaster beeinträchtigen könnte. Eine solche Lösung benötigt möglicherweise mehr Zeit für die Implementierung. Wir werden in Zukunft zu diesem Thema kommunizieren, sobald wir mehr Neuigkeiten haben.

Letzte Woche hatten wir außerdem ein weiteres Indexierungsproblem. Genau wie am 22. Mai haben wir
degeden
die Menschen wissen zu lassen, dass es ein Problem gab, dass wir an seiner Behebung arbeiteten und wann das Problem behoben war.

So debuggen Sie und kommunizieren mit uns

Wir hoffen, dass dieser Beitrag mehr Klarheit darüber bringt, wie komplex unsere Systeme sind und manchmal ausfallen können, und Ihnen auch hilft zu verstehen, wie wir über diese Angelegenheiten kommunizieren. Während sich dieser Beitrag jedoch auf einen weit verbreiteten Ausfall unserer Systeme konzentriert, ist es wichtig im Hinterkopf zu behalten, dass die meisten Probleme bei der Website-Indizierung durch die Konfiguration einer einzelnen Website verursacht werden, was für die Google Suche Schwierigkeiten bei der ordnungsgemäßen Indizierung dieser Website verursachen kann. Für diese Fälle können alle Webmaster Probleme debuggen mit
Search Console und unserem
Help center. Wenn Sie danach immer noch der Meinung sind, dass ein Problem nicht von Ihrer Website stammt oder Sie nicht wissen, wie Sie es lösen können, sprechen Sie mit uns und unserer Community, wir freuen uns immer über Feedback von unseren Nutzern. So können Sie uns ein Problem melden:

• Überprüfen Sie unsere
  Webmaster Community, manchmal haben andere Webmaster ein Problem hervorgehoben, das auch Ihre Website betrifft.
• Persönlich! Wir lieben den Kontakt, kommen Sie und sprechen Sie mit uns auf events.
• In unseren Produkten! Das Search Console-Feedback-Tool ist für unsere Teams sehr nützlich.
• Twitter und
  YouTube!

Veröffentlicht von Vincent Courson, Google Search Outreach