Comment mesurer et améliorer la qualité de la recherche

Yandex publie la manière dont il décide si une modification d’algorithme constitue une amélioration. C’est la page la plus révélatrice de toute la documentation, car elle nomme les deux métriques par rapport auxquelles chaque modification de classement est testée.

Les principes énoncés

• Les résultats sont générés entièrement par des algorithmes d’apprentissage automatique et ne peuvent pas être réordonnés manuellement.
• La pertinence est calculée à partir de la requête, du contenu de la page, de l’historique des interactions des utilisateurs avec ces pages, de la langue, de la localisation, des relations entre les pages et de nombreux autres facteurs.
• L’exhaustivité de l’indexation est une priorité absolue, appliquée uniformément par type de source. Le contenu n’est supprimé des résultats qu’en cas de spamdexing, de préjudice pour les utilisateurs ou de violations légales.
• Le format de présentation est choisi en fonction de la probabilité de répondre à l’objectif de l’utilisateur — et non par la source.

Proxima — la métrique de qualité de page

Construite à partir d’évaluations d’évaluateurs et de signaux supplémentaires. Elle évalue la pertinence par rapport à la requête (y compris l’évaluation experte par des spécialistes de domaine), la probabilité que l’objectif de l’utilisateur soit atteint sur cette page et ce site, la qualité, l’utilité et l’unicité du contenu, l’équilibre entre contenu utile et intrusif, des signaux supplémentaires sur la qualité du contenu et la crédibilité de l’auteur pour les sujets complexes tels que la santé, les services juridiques et financiers, et la commodité de consommation du contenu.

Lue comme une liste de contrôle, c’est l’énoncé le plus concret de ce que signifie un « bon contenu » chez Yandex — et la clause d’intrusivité fait de la densité publicitaire un facteur de classement plutôt qu’une question de goût.

Proficit — la métrique d’utilisabilité des résultats

Mesure la rapidité avec laquelle l’objectif d’un utilisateur est atteint, à partir de la qualité et de la quantité des interactions avec les résultats individuels et avec d’autres éléments de la page. Les formats ayant le Proficit prédit le plus élevé sont choisis, et la disposition de l’ensemble de la page de résultats est optimisée pour les deux métriques conjointement.

Comment travaillent réellement les évaluateurs

Ils évaluent les pages et les éléments de résultats, mais leurs évaluations n’entrent jamais directement dans le classement — elles constituent des données d’entraînement pour les algorithmes d’apprentissage automatique et un moyen de vérifier si un changement proposé est une amélioration. L’impartialité est gérée par le recrutement, la formation, les instructions, les outils et un chevauchement délibéré entre les évaluateurs. Les changements qui passent ce test sont ensuite testés lors d’une expérience en direct face à un groupe témoin.

Pourquoi cela vaut la peine d’être lu

Parce que cela répond à la question sous-jacente à chaque discussion sur le classement : qu’est-ce qui est optimisé. Le travail qui élève Proxima et Proficit est durable ; le travail qui ne fait ni l’un ni l’autre ne l’est pas, peu importe ce qu’il fait à une position ce mois-ci.