Wie wir im Jahr 2020 bei der Google-Suche Spam bekämpft haben

Donnerstag, 29. April 2021

Die Google-Suche ist ein leistungsstarkes Tool, mit dem Sie nützliche Informationen im offenen Web finden können. Leider sind nicht alle Webseiten mit guter Absicht erstellt. Viele von ihnen werden explizit erstellt, um Menschen zu täuschen, und das ist etwas, wogegen wir jeden Tag kämpfen. Um Ihre Sicherheit zu gewährleisten und Ihr Sucherlebnis vor störenden Inhalten und böswilligem Verhalten zu schützen, hat die Suche im Jahr 2020 in viele Innovationen investiert.

Spam intelligenter bekämpfen

Obwohl wir schon Spam bekämpfen seit den Anfängen der Suche, bieten die jüngsten Fortschritte in der Künstlichen Intelligenz (AI) ein beispielloses Potenzial, unseren Ansatz zu revolutionieren.

Durch die Kombination unseres tiefen Wissens über Spam mit AI konnten wir im vergangenen Jahr unseren ganz eigenen Spam-Bekämpfungs-AI entwickeln, der unglaublich effektiv dabei ist, sowohl bekannte als auch neue Spam-Trends abzufangen. Beispielsweise haben wir Websites mit automatisch generierten und kopierten Inhalten im Vergleich zu vor einigen Jahren um mehr als 80% reduziert.

Hacking-Spam war im Jahr 2020 immer noch weit verbreitet, da die Zahl anfälliger Websites recht groß blieb, obwohl wir unsere Erkennungsfähigkeit um mehr als 50% verbessert haben und das Meiste des Hacking-Spams aus den Suchergebnissen entfernt haben.

Dies ist ein Problem, das wir nicht allein lösen können. Selbst wenn wir jeden Spam erkennen und uns davor schützen könnten, würden die Hacker nicht aufhören, Schlupflöcher auszunutzen, bis alle geschlossen sind. Website-Besitzer können ihre Websites schützen, indem sie gute Sicherheitspraktiken anwenden: Es ist einfacher, zu verhindern, dass eine Website gehackt wird, als sich von einem Hack zu erholen. Google bietet Ressourcen an, um Ihnen zu helfen die häufigsten Wege, wie Websites gehackt werden und wie man die Search Console verwendet um zu überprüfen ob Ihre Website gehackt wurde. Bitte werfen Sie einen Blick darauf und lassen Sie uns das Web gemeinsam sicherer machen!

Angesichts großer Ereignisse im vergangenen Jahr, einschließlich einer globalen Pandemie, haben wir erhebliche Anstrengungen unternommen, um den Schutz auf die Milliarden von Suchanfragen auszudehnen, die wir zu solchen wichtigen Themen erhalten haben. Wenn Sie nach einer COVID-Teststelle in Ihrer Nähe suchen, sollten Sie sich keine Sorgen machen müssen, auf unverständlichen Spam zu stoßen, der Sie zu Phishing-Websites weiterleiten könnte. Neben der Beseitigung von Spam-Inhalten haben wir mit mehreren anderen Suchteams zusammengearbeitet, um sicherzustellen, dass Sie die aktuellsten und qualitativ hochwertigsten Informationen erhalten, wann und wo es am wichtigsten ist.

Verhindern, dass Spam Sie erreicht

Bevor wir eine Reihe von Suchergebnissen auf Google liefern, passiert im Hintergrund eine Menge. Jeden Tag entdecken, crawlen und indizieren wir Milliarden von Webseiten. Unter diesen Seiten befindet sich eine Menge Spam – jeden Tag entdecken wir 40 Milliarden Spam-Seiten. So arbeiten wir daran, diesen Spam davon abzuhalten, Ihrer Suche nach hilfreichen, nützlichen Informationen im Weg zu stehen.

Erstens haben wir Systeme, die Spam erkennen können, wenn wir Seiten oder andere Inhalte crawlen. Crawling bedeutet, dass unsere automatischen Systeme Inhalte besuchen und prüfen, ob sie in den Index aufgenommen werden sollen, den wir zur Bereitstellung von Suchergebnissen verwenden. Einige als Spam erkannte Inhalte werden nicht zum Index hinzugefügt.

Diese Systeme funktionieren auch für Inhalte, die wir über Sitemaps und Search Console. Zum Beispiel hat die Search Console eine Indexierung beantragen Funktion, damit Ersteller uns über neue Seiten informieren können, die schnell hinzugefügt werden sollten. Wir haben beobachtet, wie Spamer in anfällige Websites eingedrungen sind, sich als die Besitzer dieser Websites ausgegeben haben, sich in der Search Console verifiziert und das Tool verwendet haben, um Google aufzufordern, die vielen von ihnen erstellten Spam-Seiten zu crawlen und zu indizieren. Mit Hilfe von AI konnten wir verdächtige Verifizierungen genau lokalisieren und auf diese Weise verhindern, dass Spam-URLs in unseren Index gelangen.

Als Nächstes haben wir Systeme, die die in unserem Index enthaltenen Inhalte analysieren. Wenn Sie eine Suche starten, prüfen sie doppelt, ob die übereinstimmenden Inhalte Spam sein könnten. Wenn ja, werden diese Inhalte nicht in den Top-Suchergebnissen angezeigt. Wir verwenden diese Informationen auch, um unsere Systeme besser zu verbessern, damit solcher Spam gar nicht erst in den Index aufgenommen wird.

Das Ergebnis ist, dass dank unserer automatischen Systeme, die durch AI unterstützt werden, tatsächlich sehr wenig Spam in die Top-Ergebnisse gelangt, die irgendjemand für eine Suche sieht. Wir haben geschätzt, dass diese automatischen Systeme dazu beitragen, mehr als 99% der Besuche aus der Suche völlig frei von Spam zu halten. Was den winzigen verbleibenden Prozentsatz betrifft, ergreifen unsere Teams manuelle Maßnahmen und nutzen die daraus gewonnenen Erkenntnisse, um unsere automatischen Systeme weiter zu verbessern.

Schutz über Spam hinaus

Über Spam hinaus haben wir unsere Bemühungen im Jahr 2020 ausgeweitet, um Sie vor anderen Arten von Missbrauch zu schützen. Viele davon können erheblichen finanziellen und persönlichen Schaden verursachen.

Im Jahr 2020 haben wir erhebliche Fortschritte bei der Verbesserung unserer Abdeckung und dem Schutz weiterer Nutzer vor Online-Betrug erzielt. Online-Betrug hat viele Formen und kann Sie in mehr Hinsichten negativ beeinflussen als herkömmlicher Web-Spam. Zum Beispiel geben viele Betrüger vor, Telefonnummern für den Kundensupport von beliebten Diensten und Produkten anzubieten, nur um anrufende Nutzer dazu zu bringen, sie per Banküberweisung oder Geschenkkarten zu bezahlen. Bekannt als „Kundensupport-Betrug“ oder „Tech-Support-Betrug“, wurde diese Art von Betrug gemeldet von Hunderttausenden von Nutzern bei denen Nutzer verlieren können Hunderte von Dollar an Betrüger in jedem Fall.

Seit 2018 konnten unsere Systeme Hunderte Millionen Suchen pro Jahr schützen, indem sie potenziell betrügerische Websites erkannten. Im Web versuchten Betrüger, viele minderwertige Websites mit Keyword-Stuffing, Logos von Marken, die sie imitieren, und einer Telefonnummer, die Sie anrufen sollen, zu erstellen. Unsere algorithmischen Lösungen sorgten dafür, dass Betrug und Betrugsversuche sehr unwahrscheinlich in Ihren Suchergebnissen auftauchen. Dies ist nur eine der verschiedenen Schutzmaßnahmen, die wir im vergangenen Jahr eingeführt haben, um die Qualität der Suchergebnisse und Ihre Sicherheit zu gewährleisten. Unsere Mission ist es, den Herausforderungen einen Schritt voraus zu sein, um Ihnen die vertrauenswürdigsten Ergebnisse zu liefern. Gleichzeitig können Sie sich auch besser schützen, indem Sie informiert bleiben und mehr über Betrug erfahren.

Eine weitere Dimension, in der AI-Fortschritte enorm geholfen haben, war das Verstehen von Website-Inhalten. Ein Beispiel dafür findet sich darin, wie wir geholfen haben, Folgendes zu verbessern: die Art und Weise, wie wir Produktbewertungs-, Informations- und Shopping-Websites ranken. Die Google-Suche ist eine großartige Möglichkeit, um vor einem Kauf zu recherchieren und Produkte zu finden, und wir wollten sicherstellen, dass Sie für Ihren nächsten Kauf die nützlichsten Informationen erhalten, indem wir Inhalte mit tiefgreifenderer Recherche und nützlichen Informationen belohnen.

Trotz der bedeutenden Fortschritte, die wir bei unseren Spam-Bekämpfungsbemühungen erzielt haben, sind Spamer hochmotiviert, neue Techniken zu entwickeln, die unserer Erkennung entgehen können. Wir arbeiten ständig daran, besser zu werden und Menschen vor neuen Arten von Missbrauch zu schützen, und externe Berichte können helfen. Haben Sie kürzlich Erfahrungen mit der Suche gemacht, bei denen Sie sich getäuscht, betrogen oder zugespamt gefühlt haben und bei denen Sie der Meinung sind, dass wir bei der Verhinderung solcher Erfahrungen bessere Arbeit leisten könnten? Wenn ja, teilen Sie uns bitte Ihr Feedback über den Spam-Berichtmit, zusammen mit der Suchanfrage und allen anderen Informationen, die nützlich sein könnten.

Veröffentlicht von Cody Kwok, Principal Engineer