Как мы боролись с поисковым спамом в Google в 2020 году

Четверг, 29 апреля 2021 г.

Поиск Google — это мощный инструмент, помогающий находить полезную информацию в открытом интернете. К сожалению, не все веб-страницы создаются с благими намерениями. Многие из них создаются специально для обмана пользователей, и именно с этим мы боремся каждый день. Чтобы обеспечить вашу безопасность и защитить результаты поиска от деструктивного контента и вредоносных действий, в 2020 году мы внедрили множество инноваций.

Более эффективная борьба со спамом

Хотя мы боремся со спамом с первых дней существования Поиска, недавние достижения в области AI открывают беспрецедентные возможности для радикального изменения нашего подхода.

Объединив наши глубокие знания о спаме с AI, в прошлом году мы смогли создать собственную систему борьбы со спамом, которая невероятно эффективно выявляет как известные, так и новые виды спама. Например, мы сократили количество сайтов с автоматически сгенерированным и скопированным контентом более чем на 80% по сравнению с ситуацией двухлетней давности.

В 2020 году взломанные сайты по-прежнему оставались серьезной проблемой, так как число уязвимых ресурсов было довольно велико. Тем не менее, мы улучшили наши возможности обнаружения более чем на 50% и удалили большую часть спама со взломанных сайтов из результатов поиска.

Это проблема, которую мы не можем решить в одиночку. Даже если бы мы могли обнаруживать весь спам и защищаться от него, хакеры не прекратили бы использовать лазейки, пока они не будут закрыты. Владельцы сайтов могут защитить свои ресурсы, соблюдая правила кибергигиены: предотвратить взлом сайта гораздо проще, чем восстанавливать его после атаки. Google предлагает ресурсы, которые помогут вам понять наиболее распространенные способы взлома сайтов и узнать, как использовать Search Console для проверки того, был ли ваш сайт взломан. Пожалуйста, ознакомьтесь с ними, и давайте сделаем интернет безопаснее вместе!

Учитывая важные события прошлого года, включая глобальную пандемию, мы приложили значительные усилия для расширения защиты миллиардов поисковых запросов по таким актуальным темам. Если вы ищете пункт тестирования на COVID рядом с вами, вам не стоит беспокоиться о том, что вы попадете на бессмысленный спам, который может перенаправить вас на фишинговые сайты. Помимо устранения спам-контента, мы работали вместе с другими командами Поиска, чтобы гарантировать, что вы получаете самую актуальную и качественную информацию именно тогда, когда она вам нужна.

Предотвращение попадания спама к пользователям

Прежде чем мы выдадим результаты поиска в Google, происходит множество скрытых процессов. Каждый день мы обнаруживаем, сканируем и индексируем миллиарды веб-страниц. Среди них много спама — ежедневно мы находим 40 миллиардов спамных страниц. Вот как мы работаем, чтобы этот спам не мешал вам находить полезную и нужную информацию.

Во-первых, у нас есть системы, которые могут обнаруживать спам при сканировании страниц или другого контента. Сканирование — это процесс, при котором наши автоматические системы посещают контент и рассматривают возможность его включения в индекс, используемый для формирования результатов поиска. Некоторые материалы, распознанные как спам, не добавляются в индекс.

Эти системы также работают с контентом, который мы обнаруживаем через файлы sitemap и Search Console. Например, в Search Console есть функция запроса на индексацию, чтобы авторы могли сообщать нам о новых страницах, которые должны быть быстро добавлены. Мы заметили, что спамеры взламывают уязвимые сайты, выдают себя за их владельцев, подтверждают права в Search Console и используют этот инструмент, чтобы просить Google просканировать и проиндексировать множество созданных ими спамных страниц. Используя AI, мы смогли выявить подозрительные подтверждения прав и предотвратить попадание спамных URL в наш индекс таким образом.

Далее у нас есть системы, которые анализируют контент, уже включенный в наш индекс. Когда вы делаете поисковый запрос, они проверяют, не является ли соответствующий контент спамом. Если это так, он не появится в верхних строках результатов поиска. Мы также используем эту информацию для улучшения наших систем, чтобы предотвратить попадание такого спама в индекс в будущем.

В результате в топ выдачи попадает крайне мало спама — все благодаря нашим автоматизированным системам, работающим при поддержке AI. По нашим оценкам, эти системы помогают сделать более 99% посещений из Поиска полностью свободными от спама. Что касается оставшегося крошечного процента, наши команды принимают меры вручную и используют полученные данные для дальнейшего совершенствования наших автоматизированных систем.

Защита за пределами борьбы со спамом

Помимо спама, в 2020 году мы расширили наши усилия по защите вас от других видов злоупотреблений. Многие из них могут причинить значительный финансовый и личный ущерб.

В 2020 году мы добились значительного прогресса в улучшении защиты пользователей от онлайн-мошенничества. Интернет-мошенничество принимает разные формы и может нанести вам вред гораздо серьезнее, чем обычный веб-спам. Например, многие мошенники выдают себя за службы поддержки популярных сервисов и продуктов, чтобы обманом заставить пользователей, позвонивших им, перевести деньги через банковские переводы или подарочные карты. Этот тип мошенничества, известный как «мошенничество со службой поддержки» или «техническая поддержка», был отмечен сотнями тысяч пользователей, которые теряли сотни долларов в каждом отдельном случае.

С 2018 года наши системы защищают сотни миллионов поисковых запросов в год, выявляя потенциально мошеннические сайты. В интернете злоумышленники пытаются создавать множество низкокачественных сайтов с переспамом ключевых слов, логотипами брендов, которые они имитируют, и номером телефона, по которому они хотят, чтобы вы позвонили. Наши алгоритмические решения гарантируют, что мошенничество крайне редко появляется в результатах вашего поиска. Это лишь один из нескольких типов защиты, которые мы запустили в прошлом году для обеспечения качества результатов поиска и вашей безопасности. Наша миссия — опережать вызовы, чтобы предоставлять вам самые надежные результаты. В то же время вы можете лучше защитить себя, оставаясь в курсе событий и узнавая о методах мошенников.

Еще одно направление, где достижения в области AI помогли невероятно сильно, — это понимание контента сайтов. Пример этого можно найти в том, как мы улучшили способ ранжирования обзоров товаров, информационных и торговых сайтов. Поиск Google — отличный способ изучить и найти товары перед покупкой, и мы хотели убедиться, что вы получаете самую полезную информацию для следующей покупки, поощряя контент с глубокими исследованиями и ценными данными.

Несмотря на значительные успехи в борьбе со спамом, спамеры крайне мотивированы разрабатывать новые методы, позволяющие обходить наше обнаружение. Мы постоянно работаем над тем, чтобы стать лучше и защитить людей от новых видов злоупотреблений, и внешние отчеты нам в этом помогают. У вас были недавние случаи в Поиске, когда вы чувствовали себя обманутыми или столкнулись со спамом, и вы считаете, что мы можем лучше справляться с такими ситуациями? Если да, пожалуйста, поделитесь отзывом, используя форму отчета о спаме, указав поисковый запрос и любую другую полезную информацию.

Автор: Коди Квок, ведущий инженер