Conseils pour les hébergeurs et les webmasters

Mardi 6 décembre 2011

Certains webmasters sur nos forums posent des questions sur les problèmes liés à l’hébergement qui affectent leurs sites. Pour aider à la fois les hébergeurs et les webmasters à identifier, diagnostiquer et résoudre ces problèmes, nous aimerions partager avec vous certains des problèmes courants que nous avons constatés et vous suggérer comment les résoudre.

• Blocage de l’exploration par Googlebot. Il s’agit d’un problème très courant généralement dû à une mauvaise configuration d’un pare-feu ou d’un système de protection DoS, et parfois au système de gestion de contenu sur lequel le site fonctionne. Les systèmes de protection sont un élément important d’un bon hébergement et sont souvent configurés pour bloquer les niveaux de requêtes de serveur anormalement élevés, parfois automatiquement.
  Cependant, comme Googlebot effectue souvent plus de requêtes qu’un utilisateur humain, ces systèmes de protection peuvent décider de bloquer Googlebot et de l’empêcher d’explorer votre site Web. Pour vérifier ce type de problème, utilisez la
  fonction Explorer comme Googlebot
  dans les Outils pour webmasters, et vérifiez les autres
  erreurs d’exploration
  affichées dans les Outils pour webmasters.

  Nous proposons plusieurs outils aux webmasters et aux hébergeurs qui souhaitent un meilleur contrôle sur l’exploration de Googlebot et améliorer l’efficacité de l’exploration :

• Nous disposons d’une aide détaillée sur la manière de contrôler l’exploration de Googlebot à l’aide du
  protocole d’exclusion des robots et
  de la configuration des paramètres d’URL.
• . Si vous craignez que des bots malveillants n’utilisent l’agent utilisateur Googlebot, nous proposons un moyen de
  vérifier si un robot d’exploration est réellement Googlebot.
• . Si vous souhaitez modifier la fréquence à laquelle Googlebot explore votre site, vous pouvez vérifier votre site Web dans les Outils pour webmasters et
  modifier la vitesse d’exploration de Googlebot.
  Les hébergeurs peuvent également vérifier la propriété de leurs adresses IP.
• Nous avons plus d’informations dans notre
  FAQ sur l’exploration et l’indexation.
• Problèmes de disponibilité. Un type de problème connexe que nous constatons est l’indisponibilité des sites Web lorsque Googlebot (et les utilisateurs) tentent d’y accéder. Cela inclut les problèmes de DNS, les serveurs surchargés entraînant des délais d’attente et des connexions refusées, les réseaux de diffusion de contenu (CDN) mal configurés et de nombreux autres types d’erreurs. Lorsque Googlebot rencontre de tels problèmes, nous les signalons dans les Outils pour webmasters soit comme
  erreurs d’URL inaccessible
  soit comme
  erreurs d’exploration.
• Certificats SSL non valides. Pour que les certificats SSL soient valides pour votre site Web, ils doivent correspondre au nom du site. Les problèmes courants incluent les certificats SSL expirés et les serveurs mal configurés de sorte que tous les sites Web sur ce serveur utilisent le même certificat. La plupart des navigateurs Web essaient d’avertir les utilisateurs dans ces situations, et Google essaie d’alerter les webmasters de ce problème en envoyant un message via les Outils pour webmasters. La solution à ces problèmes est de s’assurer d’utiliser des certificats SSL valides pour tous les domaines et sous-domaines de votre site Web avec lesquels vos utilisateurs interagiront.

• DNS générique (Wildcard DNS). Les sites Web peuvent être configurés pour répondre à toutes les demandes de sous-domaine. Par exemple, le site Web sur example.com peut être configuré pour répondre aux demandes adressées à foo.example.com, made-up-name.example.com et à tous les autres sous-domaines.

  

  Dans certains cas, il est souhaitable de l’avoir ; par exemple, un site Web de contenu généré par l’utilisateur peut choisir de donner à chaque compte son propre sous-domaine. Cependant, dans certains cas, le webmaster peut ne pas souhaiter ce comportement car il peut entraîner une duplication inutile du contenu sur différents noms d’hôtes et cela peut également affecter l’exploration de Googlebot.

  Pour minimiser les problèmes liés aux configurations de DNS génériques, configurez votre site Web pour qu’il ne les utilise pas, ou configurez votre serveur pour qu’il ne réponde pas avec succès aux noms d’hôtes inexistants, soit en refusant la connexion, soit en renvoyant un 404 en-tête HTTP.

• Hébergement virtuel mal configuré. Le symptôme de ce problème est que plusieurs hôtes et/ou noms de domaine hébergés sur le même serveur renvoient toujours le contenu d’un seul site. Pour le dire autrement, bien que le serveur héberge plusieurs sites, il ne renvoie qu’un seul site quel que soit ce qui est demandé. Pour diagnostiquer le problème, vous devez vérifier que le serveur répond correctement à l'en-tête HTTP Host
• Duplication de contenu via des URLs spécifiques à l’hébergement. De nombreux hébergeurs proposent utilement des URLs pour votre site Web à des fins de test/développement. Par exemple, si vous hébergez le site Web https://a.com/ chez l’hébergeur example.com, l’hôte peut offrir un accès à votre site via une URL telle que https://a.example.com/ ou https://example.com/~a/. Notre recommandation est de rendre ces URLs spécifiques à l’hébergement inaccessibles au public (en les protégeant par mot de passe) ; et même si ces URLs sont accessibles, nos algorithmes choisissent généralement l’URL voulue par les webmasters. Si nos algorithmes
  sélectionnent les URLs spécifiques à l’hébergement, vous pouvez influencer nos algorithmes pour qu’ils choisissent vos URLs préférées en mettant en œuvre des
  techniques de canonisation
  correctement.

• Pages d’erreur logicielle (Soft 404). Certains hébergeurs affichent des pages d’erreur en utilisant un
  200 code d’état HTTP (signifiant “Succès”) au lieu d’un code d’état d’erreur HTTP. Par exemple, une page d’erreur “Page non trouvée” pourrait renvoyer un code HTTP 200 au lieu de
  404, ce qui en fait une page
  Soft 404 ; ou un message “Site Web temporairement indisponible” pourrait renvoyer unau lieu de renvoyer correctement un 200 code d’état HTTP. Nous nous efforçons de détecter les pages d’erreur logicielle, mais lorsque nos algorithmes ne parviennent pas à détecter les pages d’erreur logicielle d’un hébergeur, ces pages peuvent être indexées avec le contenu d’erreur. Cela peut entraîner des problèmes de classement ou de 503 sélection d’URL inter-domaines
  .
  Il est facile de vérifier le code d’état renvoyé : il suffit de vérifier les en-têtes HTTP renvoyés par le serveur à l’aide de l’un des nombreux outils, tels que

  Explorer comme Googlebot
  . Si une page d’erreur renvoie un code HTTP, modifiez la configuration pour renvoyer le code d’état d’erreur HTTP correct. Gardez également un œil sur les rapports 200Soft 404 dans les Outils pour webmasters, sur la page Erreurs d'exploration de la section Diagnostic. Modification de contenu et cadres

• . Les webmasters peuvent être surpris de voir le contenu de leurs pages modifié par les hébergeurs, généralement par l’injection de scripts ou d’images dans la page. Les hébergeurs peuvent également diffuser votre contenu en l’intégrant dans d’autres pages à l’aide deséléments HTML
  frame ou iframe . Pour vérifier si un hébergeur modifie votre contenu de manière inattendue, vérifiez simplement le code source de la page tel qu’il est servi par l’hôte et comparez-le au code que vous avez téléchargé.

  Notez que certaines modifications de code côté serveur peuvent être très utiles. Par exemple, un serveur utilisant le
  module Apache mod_pagespeed
  de Google ou d’autres outils peut renvoyer votre code minifié pour optimiser la vitesse de la page.

• Spam et logiciels malveillants. Nous avons constaté que certains hébergeurs et services de sous-domaines en masse devenaient des sources majeures de logiciels malveillants et de spam. Nous nous efforçons d’être précis dans nos actions lors de la protection de nos utilisateurs et de la qualité de la recherche, mais si nous constatons qu’une très grande partie des sites d’un hébergeur spécifique sont du spam ou distribuent des logiciels malveillants, nous pourrions être contraints de prendre des mesures contre l’hébergeur dans son ensemble. Pour vous aider à rester informé des logiciels malveillants, nous proposons :
• Alertes de navigation sécurisée pour les administrateurs réseau, utiles pour les hébergeurs
• Notifications de logiciels malveillants
  dans les Outils pour webmasters pour les sites Web individuels
• A Safe Browsing API pour les développeurs

Nous espérons que cette liste aidera à la fois les hébergeurs et les webmasters à diagnostiquer et à résoudre ces problèmes. Au-delà de cette liste, pensez également aux aspects qualitatifs de l’hébergement tels que la qualité de service et l’utilité du support. Comme toujours, si vous avez des questions ou besoin d’aide supplémentaire, veuillez demander dans notre
Forum d’aide des webmasters.

Écrit par
Pierre Far, Analyste des tendances pour les webmasters