Google News now crawling with Googlebot

Jeudi 25 août 2011

Publié également sur le
Google News Blog

Google News a récemment mis à jour notre infrastructure pour crawler avec le user-agent principal de Google,
Googlebot.
Qu’est-ce que cela signifie ? Très peu pour la plupart des éditeurs. Toutes les organisations de presse qui souhaitent se désinscrire
de Google News peuvent continuer à le faire : Google News respectera toujours l’entrée robots.txt pour
Googlebot-News, notre ancien user-agent,
si elle est plus restrictive que l’entrée robots.txt pour Googlebot.

Notre centre d’aide fournit des
conseils
détaillés sur l’utilisation du protocole d’exclusion des robots pour Google News, et les éditeurs peuvent contacter le
Google News Support Team
s’ils ont des questions, mais nous voulions d’abord clarifier ce qui suit :

• Bien que vous ne voyiez plus désormais que le user-agent Googlebot dans les journaux de bord de votre site, pas besoin de s’inquiéter :
  l’apparition de Googlebot à la place de Googlebot-News est indépendante de nos politiques d’inclusion.
  (Vous pouvez toujours vérifier si votre site est inclus dans Google News en effectuant une recherche avec l’opérateur “site:”.
  Par exemple, saisissez “site:votresitedenouvelles.com” dans le champ de recherche de Google News,
  et si vous voyez des résultats, c’est que nous indexons actuellement votre site d’actualités.)
• Votre outil d’analytique sera toujours en mesure de différencier le trafic utilisateur arrivant sur votre site Web depuis
  Google Search et le trafic provenant de Google News, vous ne devriez donc voir aucun changement à ce niveau.
  La principale différence est que vous ne verrez plus de visites automatisées occasionnelles sur votre site
  provenant du robot d’indexation Googlebot-news.
• Si vous respectez actuellement nos
  directives pour Googlebot,
  vous n’aurez pas besoin d’apporter de modifications au code de votre site. Les sites qui ont mis en œuvre
  des abonnements utilisant un modèle au compteur ou qui ont mis en œuvre
  First Click Free
  ne connaîtront aucun changement. Pour les sites qui nécessitent une inscription, un paiement ou une connexion avant de
  lire un article complet, Google News ne pourra explorer et indexer que le titre et l’extrait
  que vous montrez à tous les utilisateurs qui visitent votre page. Nos
  Directives pour les webmasters
  fournissent des informations supplémentaires sur
  “le cloaking”
  (c’est-à-dire le fait de montrer à un bot une version différente de celle que voient les utilisateurs). Apprenez-en plus sur Google
  News et les éditeurs proposant des abonnements dans cet
  article du Centre d’aide.
• Soyez assuré que votre sitemap sera toujours exploré. Ce changement n’affecte pas la façon dont nous explorons les sitemaps d’actualités. Si vous êtes un éditeur d’actualités qui n’a pas encore configuré de sitemap d’actualités et qui souhaite
  commencer, veuillez suivre notre
  documentation sur Google News.
• Pour tous les éditeurs qui souhaitent se désinscrire de Google News et rester dans Google Search, vous pouvez simplement
  désactiver Googlebot-news et autoriser Googlebot. Pour plus d’informations sur la façon de procéder, consultez notre
  documentation sur robots.txt.

Comme pour tout site Web, nous devons de temps à autre effectuer des mises à jour de notre infrastructure. En même
temps, nous voulons continuer à offrir autant de contrôle que possible aux sites Web d’actualités. Nous espérons que
nous avons répondu à toutes les questions que vous pourriez vous poser sur cette mise à jour. Si vous avez des questions supplémentaires,
veuillez consulter notre
Centre d’aide.

Publié par David Smydra, spécialiste produit Google News