Как мы боролись со спамом в поиске Google — Отчет о веб-спаме за 2019 год

Вторник, 9 июня 2020 г.

Каждый поиск имеет значение. Именно поэтому всякий раз, когда вы обращаетесь в Поиск Google для поиска актуальной и полезной информации, нашей неизменной задачей является обеспечение того, чтобы пользователи получали результаты максимально возможного качества.

К сожалению, в сети существуют деструктивные проявления и контент, которые мы называем «веб-спамом» и которые могут ухудшить впечатления людей, ищущих полезную информацию. У нас есть несколько команд, которые работают над предотвращением появления веб-спама в результатах поиска, и оставаться на шаг впереди спамеров — это постоянная задача. В то же время мы продолжаем взаимодействовать с веб-мастерами, чтобы гарантировать, что они следуют передовым методам, добиваются успеха в Поиске и делают качественный контент доступным в открытом Интернете.

Оглядываясь назад на прошлый год, приводим краткий обзор того, как мы боролись со спамом в Поиске в 2019 году и поддерживали сообщество веб-мастеров.

Борьба со спамом в больших масштабах

Учитывая сотни миллиардов веб-страниц в нашем индексе, обрабатывающих миллиарды запросов ежедневно, возможно, не слишком удивительно, что все еще находятся злоумышленники, пытающиеся манипулировать поисковым ранжированием. Фактически мы заметили, что более 25 миллиардов страниц, которые мы обнаруживаем каждый день, являются спамом. Это огромное количество спама, которое демонстрирует масштаб, упорство и те меры, на которые готовы пойти спамеры. Мы со всей серьезностью подходим к тому, чтобы вероятность столкнуться со спам-страницами в Поиске была минимальной. Наши усилия помогли обеспечить, чтобы более 99% визитов из наших результатов приводили к безопасному опыту без спама.

Обновления прошлого года

В 2018 году мы сообщали, что сократили
спам, создаваемый пользователями, на 80%, и мы рады подтвердить, что этот вид нарушений не вырос в 2019 году. Спам ссылок по-прежнему оставался популярной формой спама, но наша команда успешно сдержала его влияние в 2019 году. Более 90% ссылочного спама было перехвачено нашими системами, а такие методы, как платные ссылки или обмен ссылками, стали менее эффективными.

Взломанный спам, хотя по-прежнему остается распространенной проблемой, стал более стабильным по сравнению с предыдущими годами. Мы продолжили работу над решениями для более эффективного обнаружения и уведомления затронутых веб-мастеров и платформ, а также
помощи им в восстановлении взломанных сайтов.

Тенденции спама

Одной из наших главных приоритетных задач в 2019 году было улучшение возможностей борьбы со спамом с помощью систем машинного обучения. Наши решения на базе машинного обучения в сочетании с проверенными и надежными возможностями ручного применения мер сыграли ключевую роль в выявлении и предотвращении показа спам-результатов пользователям.

За последние несколько лет мы наблюдаем рост спам-сайтов с
автоматически сгенерированным и
скопированным (скрейпленным) контентом
и поведением, которое раздражает или вредит пользователям поиска, таким как фальшивые кнопки, назойливая реклама, подозрительные перенаправления и вредоносное ПО. Эти веб-сайты часто вводят в заблуждение и не представляют никакой реальной ценности для людей. В 2019 году нам удалось снизить влияние этого типа спама на пользователей Поиска более чем на 60% по сравнению с 2018 годом.

По мере совершенствования наших возможностей и эффективности обнаружения спама мы постоянно инвестируем в сокращение более широких видов ущерба, таких как аферы и мошенничество. Эти сайты обманывают людей, заставляя их думать, что они посещают официальный или авторитетный сайт, и во многих случаях пользователи могут в конечном итоге раскрыть конфиденциальную личную информацию, потерять деньги или заразить свои устройства вредоносным ПО. Мы уделяли пристальное внимание запросам, склонным к мошенничеству и аферам, и работали над тем, чтобы опережать спам-тактику в этих областях для защиты пользователей.

Работа с веб-мастерами и разработчиками для создания лучшего интернета

Большая часть работы по борьбе со спамом заключается в использовании автоматизированных систем для обнаружения спам-поведения, но эти системы не идеальны и не могут охватить всё. Как пользователь Поиска, вы также можете помочь нам бороться со спамом и другими проблемами,
сообщая о спаме в поиске,
фишинге или
вредоносном ПО. В 2019 году мы получили около 230 000 жалоб на поисковый спам и смогли принять меры по 82% обработанных жалоб. Мы ценим все отправленные нам отчеты и вашу помощь в поддержании чистоты результатов поиска!

Итак, что мы делаем, когда получаем такие отчеты или обнаруживаем, что что-то идет не так? Важной частью нашей работы является уведомление веб-мастеров при обнаружении каких-либо проблем на их веб-сайте. В 2019 году мы создали более 90 миллионов сообщений владельцам сайтов, чтобы проинформировать их о проблемах, неполадках, которые могут повлиять на отображение их сайта в результатах поиска, и возможных улучшениях, которые можно внедрить. Из всех сообщений около 4,3 миллиона были связаны с
ручными мерами, вызванными нарушениями наших рекомендаций для веб-мастеров.

И мы всегда ищем способы лучше помочь владельцам сайтов. В 2019 году было предпринято много инициатив, направленных на улучшение коммуникации, таких как
новые сообщения в Search Console,
Site Kit для сайтов на WordPress
или
автоматическая проверка DNS в новой Search Console. Мы надеемся, что эти инициативы предоставили веб-мастерам более удобные способы подтверждения своих сайтов и будут и дальше полезны. Мы также надеемся, что это обеспечит более быстрый доступ к новостям, а веб-мастера смогут более эффективно и результативно устранять проблемы с веб-спамом или взломом.

Уделяя пристальное внимание очистке от спама, мы также не забывали идти в ногу с эволюцией интернета и
переосмыслили то, как мы хотим обрабатывать "nofollow" ссылки. Первоначально представленный как средство борьбы со спамом в комментариях и аннотирования спонсируемых ссылок, атрибут "nofollow"
прошел долгий путь. Но мы на этом не останавливаемся. Мы считаем, что пришло время для его дальнейшей эволюции, точно так же, как развивались наши возможности борьбы со спамом. Мы представили два новых атрибута ссылок, rel="sponsored" и rel="ugc", которые предоставляют веб-мастерам дополнительные способы указать Поиску Google характер конкретных ссылок. Наряду с rel="nofollow", мы стали рассматривать их как подсказки для учета в целях ранжирования. Мы очень рады видеть, что эти новые rel-атрибуты были тепло встречены и приняты веб-мастерами по всему миру!

Взаимодействие с сообществом

Как всегда, мы благодарны за все возможности прошлого года пообщаться с веб-мастерами по всему миру, помочь им улучшить свое присутствие в Поиске и услышать их отзывы. Мы провели более 150 онлайн-консультаций, онлайн-мероприятий и оффлайн-мероприятий во многих городах по всему миру для широкой аудитории, включая SEO-специалистов, разработчиков, интернет-маркетологов и владельцев бизнеса. Среди этих мероприятий нас особенно воодушевил
энтузиазм вокруг наших конференций для веб-мастеров
в 35 точках в 15 странах и на 12 языках по всему миру, включая первую версию Product Summit в Маунтин-Вью. Хотя в настоящее время мы не можем проводить мероприятия очно, мы с нетерпением ждем новых таких
мероприятий и виртуальных точек контакта в будущем.

Веб-мастера продолжали находить решения и советы в нашем
Сообществе помощи для веб-мастеров
, где в 2019 году было создано более 30 000 тем на дюжине языков. На YouTube мы
запустили #AskGoogleWebmasters , а также такие серии, как
развенчание мифов об SEO
, чтобы ваши вопросы не оставались без ответа, а неясности разрешались. Мы знаем, что наше совместное путешествие к лучшему интернету продолжается, и мы будем рады продолжить его с вами в предстоящем году! Поэтому оставайтесь на связи в

Twitter
YouTube,
блоге,
Сообществе помощи,
или до встречи лично на одной из наших конференций
рядом с вами! Опубликовано

Черри Проммавин , Отдел по связям с поисковой системой, иДуй Нгуен , Аналитик качества поискаКак мы боролись со спамом в поиске Google — Отчет о веб-спаме за 2019 год | Alien Road