Puedes verificar si una solicitud a tu servidor es realmente
de Google. La verificación es posible para rastreadores como Googlebot, así como para otras solicitudes. Esto es útil si te preocupa que los spammers u otros alborotadores accedan a tu sitio afirmando ser de Google.
Los rastreadores y capturadores de Google se dividen en tres categorías:
| Tipo | Descripción | Máscara DNS inversa | Rangos de IP |
|---|---|---|---|
| Rastreadores comunes | Los rastreadores comunes utilizados para los productos de Google (como Googlebot). Siempre respetan las reglas de robots.txt para los rastreos automáticos. | crawl-***-***-***-***.googlebot.com ogeo-crawl-***-***-***-***.geo.googlebot.com | common-crawlers.json |
| Rastreadores de casos especiales | Rastreadores o capturadores que realizan funciones específicas para productos de Google (como AdsBot) donde existe un acuerdo entre el sitio rastreador y el producto sobre el acceso, o para el rastreo o captura específicos contra abusos. Estos rastreadores o capturadores pueden o no respetar las reglas de robots.txt. | rate-limited-proxy-***-***-***-***.google.com | special-crawlers.json |
| Capturadores activados por el usuario | Herramientas y funciones de producto donde el usuario final activa una captura. Por ejemplo, Google Site Verifier actúa a petición de un usuario. Debido a que la captura fue solicitada por un usuario, estos capturadores ignoran las reglas de robots.txt. Los capturadores controlados por Google se originan a partir de IPs en el objeto user-triggered-fetchers-google.json y se resuelven a un nombre de hostgoogle.com . Las IPs en el objeto user-triggered-fetchers.json se resuelven a nombres de host gae.googleusercontent.com . Estas IPs se utilizan, por ejemplo, si un sitio que se ejecuta en Google Cloud (GCP) tiene una característica que requiere recuperar fuentes RSS externas a petición del usuario de ese sitio. | ***-***-***-***.gae.googleusercontent.com ogoogle-proxy-***-***-***-***.google.com | user-triggered-fetchers.json, user-triggered-fetchers-google.json, y |
user-triggered-agents.json
- Hay dos métodos para verificar las solicitudes de Google:Manualmente
- : Para búsquedas puntuales, utiliza herramientas de línea de comandos. Este método es suficiente para la mayoría de los casos de uso.Automáticamente
: Para búsquedas a gran escala, utiliza una solución automática para hacer coincidir la dirección IP de un rastreador con la lista de direcciones IP de Google publicadas.
- Utilizar herramientas de línea de comandos
Ejecuta una búsqueda de DNS inverso en la dirección IP de acceso de tus registros, utilizando el comandohost - .
Verifica que el nombre de dominio sea,googlebot.comgoogle.com
, o. - googleusercontent.com
. Ejecuta una búsqueda de DNS directo en el nombre de dominio recuperado en el paso 1 utilizando el comando
host - en el nombre de dominio recuperado.
Verifica que sea la misma que la dirección IP de acceso original de tus registros.
Ejemplo 1:
Ejemplo 2:
Ejemplo 3:
Utilizar soluciones automáticas
- Alternativamente, puedes identificar a Googlebot por dirección IP haciendo coincidir la dirección IP del rastreador con las listas de rangos de direcciones IP de los rastreadores y capturadores de Google:
- Rastreadores comunes como Googlebot
- Rastreadores especiales como AdsBot
- Capturadores activados por el usuario (usuarios)
- Capturadores activados por el usuario (Google)
Agentes activados por el usuario
Para otras direcciones IP de Google desde las que se pueda acceder a tu sitio (por ejemplo,Apps Scripts
), haz coincidir la dirección IP de acceso con lalista de direcciones IP de Google
general. Ten en cuenta que las direcciones IP en los archivos JSON están representadas en.
Cómo lo aplicamos
Verification by reverse DNS is the only reliable way to separate real Googlebot from crawlers that spoof the user agent. We build this into the client’s log pipeline rather than checking manually.
Servicios relacionados