Вы можете проверить, является ли запрос к вашему серверу действительно
от Google. Проверка возможна для таких краулеров, как Googlebot, а также для других запросов. Это полезно, если вы опасаетесь, что спамеры или другие злоумышленники получают доступ к вашему сайту, выдавая себя за Google.
Краулеры и сборщики Google делятся на три категории:
| Тип | Описание | Маска обратного DNS | Диапазоны IP-адресов |
|---|---|---|---|
| Обычные краулеры | Обычные краулеры, используемые для продуктов Google (таких как Googlebot). Они всегда соблюдают правила robots.txt для автоматического сканирования. | crawl-***-***-***-***.googlebot.com илиgeo-crawl-***-***-***-***.geo.googlebot.com | common-crawlers.json |
| Краулеры для особых случаев | Краулеры или сборщики, которые выполняют специфические функции для продуктов Google (таких как AdsBot), когда между сканируемым сайтом и продуктом имеется соглашение о доступе, либо для сканирования или сбора данных в целях борьбы с нарушениями. Эти краулеры или сборщики могут как соблюдать, так и не соблюдать правила robots.txt. | rate-limited-proxy-***-***-***-***.google.com | special-crawlers.json |
| Сборщики, инициируемые пользователем | Инструменты и функции продуктов, где конечный пользователь инициирует сбор данных. Например, Google Site Verifier действует по запросу пользователя. Поскольку сбор данных был запрошен пользователем, эти сборщики игнорируют правила robots.txt. Управляемые Google сборщики происходят с IP-адресов в user-triggered-fetchers-google.json объекте и разрешаются вgoogle.com имя хоста. IP-адреса в user-triggered-fetchers.json объекте разрешаются в gae.googleusercontent.com | имена хостов. Эти IP-адреса используются, например, если сайт, работающий на базе Google Cloud (GCP), имеет функцию, требующую получения внешних RSS-лент по запросу пользователя этого сайта. ***-***-***-***.gae.googleusercontent.comили | google-proxy-***-***-***-***.google.com, user-triggered-fetchers.jsonuser-triggered-fetchers-google.json , |
и
- user-triggered-agents.jsonСуществует два метода проверки запросов от Google:
- Вручную: Для разовых проверок используйте инструменты командной строки. Этот метод достаточен для большинства сценариев использования.
Автоматически
- : Для масштабных проверок используйте автоматическое решение для сопоставления IP-адреса краулера со списком опубликованных IP-адресов Google.
Использование инструментов командной строкиВыполните обратный поиск DNS для входящего IP-адреса из ваших логов с помощью команды - host
.,Убедитесь, что доменное имя принадлежит либоgooglebot.com
google.com. - , либо
googleusercontent.com
. Выполните прямой поиск DNS для доменного имени, полученного на шаге 1, используя команду - host
для полученного доменного имени.
Убедитесь, что оно совпадает с исходным входящим IP-адресом из ваших логов.
Пример 1:
Пример 2:
Пример 3:
- Использование автоматических решений
- В качестве альтернативы вы можете идентифицировать Googlebot по IP-адресу, сопоставив IP-адрес краулера со списками диапазонов IP-адресов краулеров и сборщиков Google:
- Обычные краулеры, такие как Googlebot
- Специальные краулеры, такие как AdsBot
- Сборщики, инициируемые пользователем (пользователи)
Сборщики, инициируемые пользователем (Google)
Агенты, инициируемые пользователемДля других IP-адресов Google, с которых может осуществляться доступ к вашему сайту (например,
Apps Scripts), сопоставьте входящий IP-адрес с общим
списком IP-адресов Google.
Как мы это применяем
Verification by reverse DNS is the only reliable way to separate real Googlebot from crawlers that spoof the user agent. We build this into the client’s log pipeline rather than checking manually.
Связанные услуги