Une note sur les règles non prises en charge dans robots.txt

Mardi 2 juillet 2019

Hier, nous avons annoncé que nous mettions
en open source l’analyseur robots.txt de production de Google. C’était un moment passionnant qui ouvre la voie à de futurs projets potentiels de recherche en open source ! Les commentaires sont précieux et nous recueillons avec enthousiasme les questions des
développeurs et
des webmasters

pareillement. Une question

s’est démarquée, que nous aborderons dans cet article : Pourquoi un gestionnaire de code pour d’autres règles comme crawl-delay n’est-il pas inclus dans le code ? Le projet Internetque nous avons publié hier fournit une architecture extensible pour les règles qui ne font pas partie du standard. Cela signifie que si un robot d’indexation souhaitait prendre en charge sa propre ligne comme.

unicorns: allowed
,, il le pourrait. Pour démontrer à quoi cela ressemblerait dans un analyseur, nous avons inclus une ligne très courante,sitemap
, dans notreanalyseur robots.txt open source

En passant notre bibliothèque d’analyse en open source, nous avons analysé l’utilisation des règles robots.txt. En particulier, nous nous sommes concentrés sur les règles non prises en charge par le projet Internet, telles que
crawl-delaynofollow
, et noindex
. Étant donné que ces règles n'ont jamais été documentées par Google, leur utilisation par rapport à Googlebot est naturellement très faible. En creusant davantage, nous avons constaté que leur utilisation était contredite par d'autres règles dans tous les fichiers robots.txt d'Internet, à l'exception de 0,001 % d'entre eux. Ces erreurs nuisent à la présence des sites Web dans les résultats de recherche de Google d'une manière que les webmasters n'avaient probablement pas intentée. Dans le souci de maintenir un écosystème sain et de nous préparer à d’éventuelles futures versions open source, nous retirons tout le code qui gère les règles non prises en charge et non publiées (telles que

• noindex
  ) le 1er septembre 2019. Pour ceux d’entre vous qui s’appuyaient sur la règle d’indexation noindex dans le fichier robots.txt , qui contrôle l’exploration, il existe un certain nombre d’options alternatives :
  noindex dans les
• 404 balises 410 meta:
  robots :
• Prise en charge à la fois dans les en-têtes de réponse HTTP et en HTML, la règle noindex
  est le moyen le plus efficace de supprimer des URL de l’index lorsque l’exploration est autorisée.et
• Codes d'état HTTP Les deux codes d’état signifient que la page n’existe pas, ce qui supprimera ces URL de l’index de Google une fois qu’elles auront été explorées et traitées. Protection par mot de passe :: À moins qu’un balisage ne soit utilisé pour indiquer
• un contenu d’abonnement ou payant:
  , masquer une page derrière une connexion la supprimera généralement de l’index de Google.

Disallow
dansrobots.txt Les moteurs de recherche ne peuvent indexer que les pages dont ils ont connaissance. Bloquer l’exploration d’une page signifie donc généralement que son contenu ne sera pas indexé. Bien que le moteur de recherche puisse également indexer une URL en se basant sur des liens provenant d’autres pages, sans voir le contenu lui-même, nous visons à rendre ces pages moins visibles à l’avenir.
Outil de suppression d’URL de la Search Console L’outil est une méthode rapide et simple pour supprimer temporairement une URL des résultats de recherche de Google.Pour plus de conseils sur la suppression d’informations des résultats de recherche de Google, visitez notre Centre d’aide . Si vous avez des questions, vous pouvez nous trouver sur

Twitter et dans notre