Crawling infrastructureAgent utilisateur APIs-Google
APIs-Google est l'agent utilisateur utilisé par les API Google pour envoyer des notifications push. Explorez ce guide pour apprendre comment…
Crawling infrastructure
Crawling infrastructureAuthentifier les requêtes avec Web Bot Auth (expérimental)
Découvrez ce qu'est Web Bot Auth, le statut actuel de l'implémentation de Google et comment vous pouvez implémenter la vérification…
Crawling infrastructureJournal des modifications
Suivez les principales mises à jour de la documentation de Google sur le crawl, y compris les modifications apportées à…
Crawling infrastructureDéboguer les erreurs réseau et DNS pour les robots d'exploration de Google
Découvrez comment différentes erreurs réseau et DNS peuvent affecter les robots d'exploration de Google et comment déboguer les erreurs réseau…
Crawling infrastructureFeedfetcher
Feedfetcher est la façon dont Google récupère les flux de sites. Explorez ce guide pour apprendre ce qu'est Google Feedfetcher…
Crawling infrastructureAgent utilisateur Google Read Aloud
Google-Read-Aloud est l'agent utilisateur du service Google Read Aloud. Apprenez-en davantage sur la façon dont ce service peut fonctionner pour…
Crawling infrastructureComment Google interprète la spécification robots.txt
Découvrez des détails spécifiques sur les différentes règles du fichier robots.txt et la manière dont Google interprète la spécification robots.txt.
Crawling infrastructureComment les codes d'état HTTP affectent les robots d'exploration de Google
Découvrez comment les différents codes d'état HTTP peuvent affecter les robots d'exploration de Google.
Crawling infrastructureComment écrire et soumettre un fichier robots.txt
Un fichier robots.txt réside à la racine de votre site. Apprenez à créer un fichier robots.txt, consultez des exemples et…
Crawling infrastructureListe des fetchers déclenchés par les utilisateurs de Google
Les fetchers déclenchés par les utilisateurs de Google effectuent des actions pour le compte des utilisateurs. Cet aperçu vous aidera…
Crawling infrastructureListe des robots d'exploration courants de Google
Les robots d'exploration de Google découvrent et scannent les sites Web. Cet aperçu vous aidera à comprendre les robots d'exploration…
Crawling infrastructureListe des robots d'indexation pour cas particuliers de Google
Les robots d'indexation pour cas particuliers de Google sont utilisés par des produits Google spécifiques pour lesquels il existe un…
Crawling infrastructureGestion du crawl des URLs de navigation à facettes
Découvrez ce qu'est la navigation à facettes et comment vous pouvez optimiser le crawl par Google d'un grand nombre d'URLs…
Crawling infrastructureOptimisez votre budget de crawl
Découvrez ce qu'est le budget de crawl et comment vous pouvez optimiser le crawl par Google des sites Web volumineux…
Présentation des crawlers et fetchers de Google (agents utilisateurs)
Comprenez les propriétés techniques des crawlers et fetchers de Google, y compris les protocoles de transfert pris en charge, la…
Crawling infrastructureRéduire le taux de crawl de Google
Si le taux de crawl de Google surcharge votre serveur, explorez ce document pour apprendre comment réduire le taux de…
Ce qu'il faut savoir sur l'exploration web de Google
Apprenez comment Google explore le web.
Crawling infrastructureMettez à jour votre fichier robots.txt
Avec le rapport robots.txt, vous pouvez vérifier si Google peut traiter vos fichiers robots.txt. Suivez ces étapes pour soumettre des…
Crawling infrastructureVérifier les requêtes des robots d'indexation et des récupérateurs Google
Vous pouvez vérifier si un robot web est réellement Googlebot (ou un autre agent utilisateur Google). Suivez ces étapes pour…