Indexation du site

Le guide d’indexation de Yandex est une liste de contrôle assortie de limites techniques spécifiques — ces limites sont la partie qui vaut la peine d’être mémorisée.

Les étapes de configuration

1. Ajoutez le site dans Yandex Webmaster.
2. Soumettez un sitemap, qui peut également exprimer la priorité de rasant (crawl) – en indiquant au robot quelles pages sont fréquemment mises à jour afin qu’il planifie en conséquence.
3. Configurez robots.txt: Disallow pour les sections techniques et à faible valeur, et Clean-param pour les paramètres CGI insignifiants. Yandex expose le mode d’échec pour les identifiants de session : des URL formellement distinctes avec un contenu identique, et s’il y en a beaucoup, le robot indexe celles-ci au lieu de télécharger du contenu utile.

Les limites strictes

• Les documents de plus de 10 Mo ne sont pas indexés.
• De nombreux paramètres CGI, des répertoires profondément imbriqués ou des URL excessivement longues peuvent empêcher l’indexation.
• PDF : seul le texte est indexé. Le texte rendu sous forme d’image ne l’est pas – ce qui rend chaque brochure numérisée et chaque catalogue basé sur des images invisible.
• Les formats Open Office XML et OpenDocument sont indexés, bien que la prise en charge des nouveaux formats puisse accuser du retard.
• .swf les fichiers sont indexés lorsqu’ils sont directement liés ou intégrés via object ou embed; le contenu d’un fichier Flash peut ramener le robot vers le document HTML conteneur.
• frameset et frame le contenu est indexé, le document source étant identifié à partir du contenu du cadre.

Deux exigences côté serveur

• Les URL inexistantes doivent renvoyer 404. À sa réception, le moteur de recherche supprime le document de l’index – ce qui constitue le mécanisme et la raison pour laquelle un soft-404 maintient les pages supprimées en place indéfiniment. Tout ce qui doit être indexé doit renvoyer 200 OK.
• Les en-têtes HTTP doivent être corrects, et Yandex distingue la réponse à If-Modified-Since: l’en-tête Last-Modified doit porter la véritable date de modification du document. Un serveur qui ment à ce sujet – en renvoyant l’heure actuelle pour chaque page – force le re-téléchargement d’un contenu inchangé et gaspille inutilement la capacité de crawl.

Les priorités pratiques

De tout ce qui précède, deux éléments procurent la majeure partie des avantages sur les sites réels : une gestion correcte 404 et un Last-Modified honnête avec des réponses conditionnelles fonctionnelles. Tous deux relèvent de la configuration du serveur, tous deux sont invisibles dans un navigateur, et tous deux sont généralement erronés.