Что нужно знать о сканировании сайтов Google

Google сканирует открытый интернет
уже более 30 лет, и нам регулярно задают вопросы о том, как работают наши веб-краулеры. Чтобы ответить на некоторые из них, приведем несколько фактов о сканерах Google и о том, как они помогают нам организовывать информацию по всему миру, связывая пользователей с контентом из интернета.

Что такое сканирование? Если говорить кратко, сканирование — это то, как Google “видит” интернет

Сканирование — это процесс использования автоматизированного программного обеспечения для обнаружения новых веб-страниц и их анализа. Таким образом, когда вы обращаетесь к Google, чтобы найти веб-страницу, мы знаем о ее существовании и можем включить ее в результаты поиска. Все поисковые системы полагаются на сканирование, чтобы знать, какие страницы и информация могут существовать. Вы можете посмотреть наше видео о том, как поиск Google сканирует страницы
, чтобы узнать больше.

У нас много краулеров, и у каждого из них важные задачи

Googlebot — наш самый известный краулер, который используется для поддержания актуальности результатов в поиске Google. У нас также есть краулеры, предназначенные специально для других наших сервисов, таких как Картинки Google и Google Покупки. Мы предоставляем полную документацию
о наших наиболее часто используемых краулерах и их назначении. Наши сканеры используют легко определяемые имена user-agent и известные интернет-адреса. Таким образом, владельцы сайтов могут быть уверены, что видимые ими сканеры Google являются легитимными.

Мы выполняем повторное сканирование, чтобы находить последние обновления и предоставлять самые свежие результаты поиска

Чтобы оперативно находить свежие новостные статьи, мы можем повторно сканировать главные страницы новостей каждые несколько минут. В других случаях мы можем видеть, что ничего не менялось годами, поэтому можем подождать месяц до нового сканирования. Владельцы сайтов могут влиять на частоту повторного сканирования с помощью файлов sitemap
, которые сообщают нам о новых и обновленных страницах.

Частое сканирование — это хороший знак!

Если мы часто сканируем ваш сайт, это указывает на то, что на ваших страницах есть свежий или крайне актуальный контент, который пользователи хотят найти, и наши системы распознают этот спрос. Интернет-магазины — отличный пример: мы часто сканируем сайты электронной коммерции, чтобы в наших результатах отображались самые актуальные цены, акции и статус наличия товаров у ритейлеров.

Объемы сканирования Google со временем выросли по мере усложнения страниц

Еще одна причина, по которой мы часто выполняем повторное сканирование, — стремление полностью понять богатство веб-страницы и то, что она предлагает. Наши краулеры используют технику рендеринга, которая полностью загружает сайт, чтобы “видеть” страницу так же, как это сделал бы живой человек. С годами веб-страницы стали сложнее;
средняя мобильная страница
выросла в размере с 816 килобайт до 2.3 мегабайт,
и теперь имеет более 60 различных файлов
для загрузки, от изображений до интерактивных компонентов. Поэтому, чтобы получить репрезентативный снимок веб-страницы во всей ее красе, нам может потребоваться сканировать одну и ту же страницу несколько раз — или даже больше, так как постоянно добавляются новые элементы.

Мы оптимизируем сканирование автоматически

Наши краулеры разработаны с учетом эффективности и подстраиваются так, чтобы минимизировать нагрузку на владельцев сайтов. Например, когда сайт замедляется или возвращает ошибки,
частота сканирования меняется автоматически
, чтобы избежать перегрузки серверов сайта. Мы стараемся ограничивать избыточное сканирование путем кэширования просканированного контента. По мере того как наши краулеры узнают сайт лучше, они также могут распознавать разделы, которые можно сканировать реже; например, календари, уходящие в 9999 год, вероятно, не нуждаются в сканировании целиком. Владельцы сайтов могут помочь, указав
, какой контент не нужно сканировать, что экономит деньги владельцев за счет снижения затрат на инфраструктуру и делает интернет более эффективным в целом.

Краулеры Google никогда не заходят на страницы за пейволом или по подписке без разрешения

По умолчанию, если страница недоступна в открытом интернете — например, если контент находится за страницей входа, — наши краулеры также не могут получить к ней доступ. У нас есть конкретные
рекомендации для владельцев сайтов , если они хотят
дать Google прямое разрешение на доступ к страницам по подписке (например, чтобы Google мог направлять пользователей к этому контенту). Если вы решите предоставить доступ к подписке нашим краулерам, вы можете
использовать структурированные данные
, чтобы продолжать показывать посетителям экран входа, не вызывая срабатывания наших
правил в отношении спама,. И вы можете предотвратить появление контента по подписке в превью страниц, используя
элементы управления предварительным просмотром.

Владельцы сайтов контролируют, что и как сканируется

Мы соблюдаем стандарты открытого интернета, такие как robots.txt,
простой текстовый файл, который позволяет владельцам сайтов заявлять, как краулеры, подобные нашему, должны взаимодействовать с их страницами. Файл Robots.txt наряду с метатегами robots, позволяет веб-сайтам легко сообщать Google и другим сервисам, как получать доступ к их контенту. Они могут запретить страницам появляться в поиске. Они могут сообщать нам о новом контенте, который они хотят просканировать, используя файлы sitemaps. И
они могут управлять частотой сканирования своих сайтов через свой
краулинговый бюджет.

Наши стандартные краулеры
всегда уважают выбор веб-сайтов относительно того, как их контент доступен и используется.

После сканирования мы можем использовать полученные данные многократно, чтобы снизить потребность в избыточных повторных запросах на сайтах. Даже когда мы используем эти данные повторно, мы продолжаем уважать выбор, который сайты делают с помощью robots.txt и элементов управления, предлагаемых через этот протокол открытого интернета. Например, сайты могут использовать Google-Extended
в robots.txt, чтобы управлять, среди прочего, тем, помогает ли их контент обучать будущие версии моделей Gemini. Использование Google-Extended не влияет на включение сайта в поиск, и мы также не используем Google-Extended в качестве сигнала ранжирования в поиске.

Мы предоставляем множество инструментов для владельцев сайтов, позволяющих управлять процессом сканирования Google, включая
Google Search Console,
которая доступна владельцам сайтов бесплатно. Она предоставляет информацию о том,
сколько мы просканировали и почему.
Она также помогает сайтам диагностировать такие проблемы, как сбои сервера или проблемы со скоростью. Кроме того, Search Console предоставляет исчерпывающую информацию о том, как страницы сайта видны в поиске и как пользователи взаимодействуют с ними.

Наши краулеры помогают людям находить лучшее в интернете, и мы всегда ищем способы сделать их более эффективными и функциональными.