Crawling infrastructure

Agent utilisateur APIs-Google

APIs-Google est l’agent utilisateur utilisé par les API Google pour envoyer des messages de notification push. Les développeurs d’applications peuvent demander ces notifications pour éviter d’avoir à interroger continuellement les serveurs de Google pour savoir si les ressources qui les intéressent ont changé. Pour s’assurer que personne n’abuse de ce service, Google exige que les développeurs prouvent qu’ils sont propriétaires du domaine avant de leur permettre d’enregistrer une URL avec un domaine comme emplacement où ils souhaitent recevoir des messages.

Comment APIs-Google accède à votre site

APIs-Google envoie chaque notification push à l’aide d’une requête HTTPS POST. Si la requête échoue en raison d’une condition d’erreur qui pourrait être temporaire, APIs-Google renverra la notification. Si la requête ne réussit toujours pas, il continuera à réessayer, sur la base d’un calendrier de backoff exponentiel, jusqu’à un maximum de plusieurs jours.

Agent utilisateur APIs-Google

Le taux auquel APIs-Google accède à votre site varie en fonction du nombre de demandes de notification push créées pour les serveurs de votre site, de la vitesse à laquelle les ressources surveillées sont mises à jour et du nombre de tentatives qui se produisent. En conséquence, les modèles de trafic d’APIs-Google peuvent être cohérents dans certains scénarios, mais dans d’autres scénarios, le trafic peut être sporadique ou irrégulier.

Préparez votre site pour APIs-Google

APIs-Google utilise HTTPS pour envoyer des notifications push, il nécessite donc que votre site dispose d’un certificat SSL valide. Non valides les certificats incluent les éléments suivants :

  • Certificats auto-signés.
  • Certificats signés par une source non approuvée.
  • Certificats qui ont été révoqués.

Évitez les demandes de nouvelle tentative inutiles en vous assurant que votre application est bien conçue et répond rapidement aux messages de notification (en quelques secondes).

Agent utilisateur APIs-Google — 2

Empêchez APIs-Google d’appeler votre site

Pour empêcher APIs-Google d’appeler votre site, effectuez l’une des opérations suivantes :

  • Désinscrivez-vous des notifications. Si vous administrez un domaine qui possède des sous-domaines ou des sous-espaces d’URL qui sont détenus ou administrés séparément, l’un des propriétaires de sous-domaine peut avoir configuré une application qui utilise des notifications push. Si vous souhaitez bloquer APIs-Google, contactez toute personne susceptible d’avoir configuré une application comme celle-ci et demandez-lui de la désactiver.
  • Utilisez robots.txt. L’agent utilisateur à spécifier dans le fichier robots.txt est
    APIs-Google – APIs-Google ne suit pas les règles de l’agent utilisateur Googlebot. Il peut y avoir un léger délai avant que APIs-Google ne découvre votre modification de fichier robots.txt. Si
    APIs-Google continue d’envoyer des messages à votre site plusieurs jours après que vous l’ayez bloqué dans robots.txt, vérifiez que le robots.txt est au bon endroit.

Vérifiez l’appelant

Si vous soupçonnez que vous recevez des requêtes usurpées, vous pouvez
vérifier qu’un bot accédant à votre serveur appelle réellement depuis google.com.
Recherchez dans vos journaux toute adresse IP s'identifiant comme l'agent utilisateur APIs-Google

Alien Road

Comment nous l'appliquons

APIs-Google traffic surprises teams that do not know a Google service is calling their endpoints. We identify it before anyone writes a firewall rule that breaks an integration.

Services associés

Partager