Обзор краулеров и фетчеров Google (пользовательских агентов)

Google использует краулеры и фетчеры для выполнения действий для своих продуктов, либо автоматически, либо по запросу пользователя. Краулер (иногда также называемый «роботом» или «пауком») — это общий термин для любой программы, которая используется для
автоматического обнаружения и сканирования веб-сайтов. Фетчеры действуют как программа, подобная
wget , которая обычно делает один запрос от имени пользователя. Клиенты Google делятся на три категории:

Технические свойства краулеров и фетчеров Google

Краулеры и фетчеры Google спроектированы так, чтобы запускаться одновременно на тысячах машин для повышения производительности и масштабирования по мере роста сети. Чтобы оптимизировать использование пропускной способности, эти клиенты распределены по многим центрам обработки данных по всему миру, чтобы они находились рядом с сайтами, к которым они могут получить доступ. Поэтому ваши журналы могут показывать посещения с нескольких IP-адресов. Google в основном выходит из IP-адресов в Соединенных Штатах. В случае, если Google обнаружит, что сайт блокирует запросы из Соединенных Штатов, он может попытаться сканировать с IP-адресов, расположенных в других странах.

Поддерживаемые протоколы передачи

Краулеры и фетчеры Google поддерживают HTTP/1.1 и
HTTP/2. Краулеры будут использовать версию протокола, которая обеспечивает наилучшую производительность сканирования, и могут переключать протоколы между сеансами сканирования в зависимости от предыдущей статистики сканирования. Версия протокола по умолчанию, используемая краулерами Google, — HTTP/1.1; сканирование через HTTP/2 может сэкономить вычислительные ресурсы (например, CPU, RAM) для вашего сайта и Googlebot, но в остальном нет никаких преимуществ для сайта, специфичных для продуктов Google (например, нет повышения рейтинга в Google Поиске). Чтобы отказаться от сканирования через HTTP/2, дайте указание серверу, на котором размещен ваш сайт, отвечать 421 HTTP-кодом состояния
когда Google пытается получить доступ к вашему сайту через HTTP/2. Если это невозможно, вы можете
отправить сообщение команде по сканированию

(однако это решение временное).
Инфраструктура краулеров Google также поддерживает сканирование через FTP (как определено в RFC959
и его обновлениях) и FTPS (как определено в RFC4217

и его обновлениях), однако сканирование через эти протоколы встречается редко.

Поддерживаемые кодировки контента
Краулеры и фетчеры Google поддерживают следующие кодировки контента (сжатия):,
gzipdeflate
, иBrotli (br)
. Кодировки контента, поддерживаемые каждым пользовательским агентом Google, объявляются в заголовке Accept-Encoding
каждого запроса, который они делают. Например,.

Accept-Encoding: gzip, deflate, br

Ограничения размера файла
По умолчанию краулеры и фетчеры Google сканируют только первые 15 МБ файла, и любой контент за пределами этого лимита игнорируется. Однако отдельные проекты могут устанавливать разные лимиты для своих краулеров и фетчеров, а также для разных типов файлов. Например, краулер Google как Googlebot

может иметь меньший лимит размера (например, 2 МБ) или указывать больший лимит размера файла для PDF, чем для HTML.

Скорость сканирования и нагрузка на хост
Наша цель — сканировать как можно больше страниц вашего сайта при каждом посещении, не перегружая ваш сервер. Если ваш сайт с трудом справляется с запросами сканирования Google, вы можетеуменьшить скорость сканирования
. Обратите внимание, что отправка неподходящего
HTTP-кода ответа

краулерам Google может повлиять на то, как ваш сайт отображается в продуктах Google.

HTTP-кэширование
Инфраструктура сканирования Google поддерживает эвристическое HTTP-кэширование, как определено встандарте HTTP-кэширования , в частности через заголовок ответа ETag и заголовок запроса If-None-Match , а также заголовок ответа Last-Modified и заголовок запроса If-Modified-Since

независимо от предпочтений краулеров Google. Эти заголовки также используются другими приложениями, такими как CMS. Если в HTTP-ответе присутствуют оба поля заголовка ответа ETag и Last-Modified , краулеры Google используют ETag значение как
требуется стандартом HTTP. В частности, для краулеров Google мы рекомендуем использовать
ETag
вместо заголовка Last-Modified для указания предпочтений кэширования, так как
ETag не имеет проблем с форматированием даты.

Другие директивы кэширования HTTP не поддерживаются.

Отдельные краулеры и фетчеры Google могут использовать или не использовать кэширование в зависимости от потребностей продукта, с которым они связаны. Например, Googlebot поддерживает кэширование при повторном сканировании URL-адресов для Поиска Google, а Storebot-Google поддерживает кэширование только при определенных условиях.

Чтобы внедрить кэширование HTTP для вашего сайта, свяжитесь с вашим хостинг-провайдером или поставщиком системы управления контентом.

ETag и If-None-Match

Инфраструктура сканирования Google поддерживает ETag и If-None-Match как определено стандартом
HTTP Caching standard. Узнайте больше о заголовке ответа
ETag
и его аналоге в заголовке запроса,
If-None-Match.

Last-Modified и If-Modified-Since

Инфраструктура сканирования Google поддерживает Last-Modified и
If-Modified-Since как определено стандартом
HTTP Caching standard
со следующими оговорками:

• Дата в заголовке Last-Modified должна быть отформатирована в соответствии со стандартом
  HTTP standard. Чтобы избежать проблем с парсингом, мы рекомендуем использовать следующий формат даты: “День недели, DD Mon YYYY HH:MM:SSЧасовой пояс”. Например,“.
• ”
  Fri, 4 Sep 1998 19:15:56 GMT Хотя это не обязательно, рассмотрите также возможность установки поля max-age заголовка ответа
  Cache-Control
  , чтобы помочь краулерам определить, когда повторно сканировать конкретный URL. Установите значение поля max-age на ожидаемое количество секунд, в течение которых контент останется неизменным. Например,.

Cache-Control: max-age=94043
Узнайте больше о заголовке ответа
Last-Modified и его аналоге в заголовке запроса,.

If-Modified-Since

Проверка краулеров и фетчеров Google

1. Краулеры Google идентифицируют себя тремя способами: Заголовок HTTP-запроса user-agent
2. .
3. Исходный IP-адрес запроса.

Обратное DNS-имя хоста исходного IP. Узнайте, как использовать эти данные для проверки краулеров и фетчеров Google. Обзор краулеров и фетчеров Google (агенты пользователя) | Alien Road. Изучите технические свойства краулеров и фетчеров Google, включая поддерживаемые протоколы передачи, кэширование и ограничения на размер файлов.
es.