Как мы боролись со спамом в поиске Google в 2020 году

Четверг, 29 апреля 2021 г.

Поиск Google — это мощный инструмент, помогающий находить полезную информацию в открытом интернете. К сожалению, не все веб-страницы создаются с добрыми намерениями. Многие из них создаются специально для обмана людей, и это то, с чем мы боремся каждый день. Чтобы обеспечить вашу безопасность и защитить ваш опыт поиска от нежелательного контента и вредоносных действий, Поиск инвестировал во множество инноваций в 2020 году.

Более умная борьба со спамом

Хотя мы боремся со спамом с первых дней существования Поиска, недавние достижения в области искусственного интеллекта (AI) предлагают беспрецедентный потенциал для революционного изменения нашего подхода.

Объединив наши глубокие знания о спаме с AI, в прошлом году мы смогли создать собственный инструмент борьбы со спамом на базе AI, который невероятно эффективен в обнаружении как известных, так и новых тенденций спама. Например, мы сократили количество сайтов с автогенерируемым и скопированным контентом более чем на 80% по сравнению с парой лет назад.

Взломанный спам по-прежнему процветал в 2020 году, так как количество уязвимых веб-сайтов оставалось довольно большим, хотя мы улучшили наши возможности обнаружения более чем на 50% и дали возможность удалить большую часть взломанного спама из результатов поиска.

Это проблема, которую мы не можем решить в одиночку. Даже если бы мы могли обнаруживать весь спам и защищаться от него, хакеры не перестали бы использовать лазейки, пока они не будут закрыты. Владельцы веб-сайтов могут защитить свои сайты, соблюдая правила безопасности: предотвратить взлом сайта проще, чем восстанавливаться после него. Google предлагает ресурсы, которые помогут вам понять самые распространенные способы взлома сайтов и как использовать Search Console чтобы проверить был ли ваш сайт взломан. Обязательно загляните туда, и давайте делать интернет безопаснее вместе!

Учитывая крупные события прошлого года, включая глобальную пандемию, мы приложили значительные усилия для расширения защиты на миллиарды поисковых запросов, которые мы получали по таким важным темам. Если вы ищете центр тестирования на COVID рядом с вами, вам не должно приходиться беспокоиться о том, чтобы попасть на бессмысленный спам, который может перенаправить вас на фишинговые сайты. Помимо устранения спам-контента, мы работали с несколькими другими командами Поиска, чтобы гарантировать, что вы получаете самую актуальную и качественную информацию тогда и там, где это наиболее важно.

Защита от попадания спама к вам

Прежде чем мы выдадим набор результатов поиска в Google, за кулисами происходит очень многое. Каждый день мы обнаруживаем, сканируем и индексируем миллиарды веб-страниц. Среди этих страниц много спама — каждый день мы обнаруживаем 40 миллиардов спам-страниц. Вот как мы работаем, чтобы этот спам не мешал вашему поиску полезной и нужной информации.

Во-первых, у нас есть системы, которые могут обнаруживать спам при сканировании страниц или другого контента. Сканирование — это когда наши автоматические системы посещают контент и рассматривают его для включения в индекс, который мы используем для предоставления результатов поиска. Некоторый контент, обнаруженный как спам, не добавляется в индекс.

Эти системы также работают для контента, который мы обнаруживаем через файлы Sitemap и Search Console. Например, в Search Console есть Запрос индексирования функция, позволяющая создателям сообщать нам о новых страницах, которые должны быть быстро добавлены. Мы заметили, как спамеры взламывали уязвимые сайты, притворяясь владельцами этих сайтов, верифицировали себя в Search Console и использовали инструмент, чтобы просить Google просканировать и проиндексировать созданные ими многочисленные спам-страницы. Используя AI, мы смогли точно определить подозрительные верификации и таким образом предотвратить попадание спам-URL в наш индекс.

Далее у нас есть системы, которые анализируют контент, включенный в наш индекс. Когда вы делаете поисковый запрос, они проверяют, может ли соответствующий контент быть спамом. Если да, этот контент не появится в верхних результатах поиска. Мы также используем эту информацию для лучшего улучшения наших систем, чтобы предотвратить попадание такого спама в индекс вообще.

В результате благодаря нашим автоматизированным системам на базе AI в топ результатов для любого поиска попадает очень мало спама. По нашим оценкам, эти автоматизированные системы помогают оставлять более 99% посещений из Поиска полностью свободными от спама. Что касается оставшегося крошечного процента, наши команды принимают ручные меры и используют полученные знания для дальнейшего совершенствования наших автоматизированных систем.

Защита вас за пределами спама

Помимо спама, в 2020 году мы расширили наши усилия по защите вас от других видов злоупотреблений. Многие из них могут нанести значительный финансовый и личный вред.

В 2020 году мы добились значительного прогресса в улучшении нашего охвата и защите большего числа пользователей от онлайн-мошенничества и фрода. Онлайн-мошенничество имеет много форм, и оно может оказывать на вас негативное влияние большим количеством способов, чем традиционный веб-спам. Например, многие мошенники притворяются, что предлагают номера телефонов службы поддержки для популярных сервисов и продуктов, только чтобы обмануть звонящих пользователей и заставить их платить банковскими переводами или подарочными картами. Широко известное как «мошенничество со службой поддержки клиентов» или «мошенничество с техподдержкой», о данном типе мошенничества сообщали сотни тысяч пользователей где пользователи могут потерять сотни долларов мошенникам в каждом случае.

С 2018 года наши системы смогли защитить сотни миллионов поисковых запросов в год, обнаруживая потенциально мошеннические сайты. В интернете мошенники пытались создавать множество низкокачественных веб-сайтов с переспамом ключевых слов, логотипами подражаемых брендов и номером телефона, по которому они хотят, чтобы вы позвонили. Наши алгоритмические решения гарантировали, что мошенничество и фрод с очень малой вероятностью появятся в ваших результатах поиска. Это лишь одна из нескольких мер защиты, которые мы запустили в прошлом году для обеспечения качества результатов поиска и вашей безопасности. наша миссия — опережать вызовы, чтобы предоставлять вам самые надежные результаты. В то же время вы также можете лучше защитить себя, оставаясь информированными и узнавая о мошенничестве.

Еще одним аспектом, в котором достижения в области AI оказали огромную помощь, стало понимание содержимого сайтов. Пример этого можно найти в том, как мы помогли улучшить то, как мы ранжируем обзоры продуктов, информационные и торговые сайты. Поиск Google — это отличный способ исследовать и находить продукты перед совершением покупки, и мы хотели убедиться, что вы получаете самую полезную информацию для вашей следующей покупки, вознаграждая контент с более глубокими исследованиями и полезной информацией.

Несмотря на значительные успехи, достигнутые нами в борьбе со спамом, спамеры крайне мотивированы на разработку новых техник, способных обойти наше обнаружение. Мы всегда работаем над тем, чтобы становиться лучше и защищать людей от новых видов злоупотреблений, и внешние отчеты могут помочь. Были ли у вас какие-либо недавние случаи использования Поиска, когда вы чувствовали себя введенными в заблуждение, обманутыми или столкнувшимися со спамом, и вы считаете, что мы можем лучше справляться с предотвращением такого опыта? Если да, пожалуйста, поделитесь отзывом, используя отчет о спаме, вместе с запросом и любой другой полезной информацией.

Опубликовано Коди Квоком, главным инженером