Fermer

  • AgoraVox sur Twitter
  • RSS
  • Agoravox TV
  • Agoravox Mobile

Accueil du site > Actualités > Technologies > Moteurs : et le gagnant est... Google et Yahoo ex æquo !

Moteurs : et le gagnant est... Google et Yahoo ex æquo !

Moteurs : et le gagnant est...

Google et Yahoo ex æquo !

Tel est le résultat de l’évaluation que j’ai réalisée en décembre 2005 avec mes étudiants aixois et dont j’ai déjà dévoilé quelques aspects sur ce blog (voir 1, 2, 3, 4, 5). Le dernier volet de l’étude (sans doute le plus intéressant) concerne le classement des différents moteurs

en fonction de la pertinence - du moins de la pertinence telle qu’elle peut être perçue par un panel d’utilisateurs. Je rappelle tout d’abord brièvement le protocole utilisé. L’étude complète est disponible ici au format pdf si vous voulez connaître plus de détails.



Les moteurs choisis sont trois moteurs américains, Google, Yahoo et MSN, ainsi que trois moteurs français, Exalead, Voilà (développé par France Telecom et offert sur le portail Wanadoo) et Dir.com

du groupe Iliad, qui constitue plus une plate-forme expérimentale qu’un moteur à visée commerciale (Dir. Com vient de mettre en ligne une nouvelle version améliorée, mais elle n’a malheureusement pas pu être prise en compte dans l’étude). D’autres moteurs, tels que MozDex ou AskJeeves, n’ont pas été retenus car ils n’offraient pas de version francophone (ou seulement une version bêta dans le cas de AskJeeves).

Quatorze thèmes ont été retenus de façon à refléter une grande variété d’utilisations (Actualités, Animaux, Cinéma, etc.). Chaque thème a été attribué à un étudiant différent, qui choisissait librement cinq requêtes. Le format (avec ou sans guillemets, en un seul ou plusieurs mots) était également totalement libre. L’étude devant se faire « en aveugle », c’est-à-dire sans que les utilisateurs sachent de quel moteur proviennent les résultats, j’ai soumis moi-même les 70 requêtes aux six moteurs. La première page de 10 résultats non marqués comme sponsorisés a été archivée pour chaque requête et chaque moteur (4200 résultats au total), puis débarrassée automatiquement des informations autres que les seules URL des résultats.

Les couples requête-URL correspondant à chaque thème ont été fournis à l’étudiant concerné, qui devait évaluer le document pointé par l’URL (voir étude détaillée), et en particulier fournir une note de pertinence

entre 0 et 5, 0 correspondant à un document totalement inutile ou hors thème, 5 correspondant à un document répondant de façon parfaite à la question posée.

Le classement est le suivant :


Google et Yahoo arrivent en tête ex æquo, avec une note de 2,3, mais le résultat sans doute le plus frappant est le degré de satisfaction très médiocre des utilisateurs. Aucun des moteurs n’atteint la moyenne (2,5 sur 5) et les notes peuvent même être extrêmement faibles (1,2 pour Voilà). Les liens notés 0 (c’est-à-dire totalement inutiles) sont étonnamment nombreux : 53,1 % pour Voilà, mais même les meilleurs ne font pas tellement mieux : 28,6 % pour Google et 27,7 % pour Yahoo. A l’inverse, les résultats notés 5 (excellent) n’atteignent même pas 16 % pour les deux meilleurs moteurs.

Même en restreignant l’étude à la première position dans l’écran de résultats (le lien le plus cliqué par les utilisateurs), les performances sont à peine meilleures : Google et Yahoo dépassent à peine la moyenne avec 2,9 et 2,8 respectivement. Curieusement, les performances de Voilà sont moins bonnes sur le premier lien non marqué comme sponsorisé, puisque sa note y atteint seulement 0,5.


J’ai fait remarquer dans un précédent billet que la proportion de liens à caractère commercial

(non marqués comme sponsorisés) est élevée, puisque elle varie entre 7 et 16% environ selon les moteurs. En soi, la présence de liens commerciaux n’est pas nécessairement nuisible à la qualité : sur une requête telle que « Harry Potter », faire apparaître la page Amazon où le livre peut être acheté peut être pertinent. Néanmoins, on observe, dans l’état actuel des choses, une nette dégradation des résultats en terme de pertinence perçue sur les liens commerciaux, et ceci pour tous les moteurs : la note attribuée aux liens commerciaux est systématiquement inférieure à celle attribuée aux autres résultats. Google et Yahoo perdent ainsi environ un point sur les liens commerciaux, ce qui est beaucoup sur une échelle de 5 points, surtout quand la note maximale n’est que de 2,3.

Je suis sûr que cette étude va susciter pas mal de réactions. En tous cas, il me semble qu’au moins deux conclusions s’imposent. D’une part, les satisfecit que s’auto-attribuent certains moteurs sont mal fondés : il reste manifestement un immense travail de recherche à faire pour mieux satisfaire les utilisateurs. On oublie parfois que les technologies sous-jacentes sont fort jeunes, et encore quelque peu dans leurs balbutiements. D’autre part, rien dans cette étude ne permet d’expliquer la préférence massive des internautes pour le moteur Google, puisque, globalement, Google et Yahoo ont des performances à peu près équivalentes, et se détachent de leurs concurrents. Il faut donc supposer que les raisons en sont autres que des critères de pure pertinence des résultats.


Moyenne des avis sur cet article :  5/5   (13 votes)




Réagissez à l'article

1 réactions à cet article    


  • Vincent (---.---.224.192) 23 février 2006 22:19

    Oui, la relevance des resultats est a peu pres la meme !

    Je donnerais cependant un + a Yahoo pour son « essayer aussi »(qui a besoin de qqs optimisations), exemple : requete [politique]. Un + a Google pour ses indexes accessibles, exemple : requete [Yahoo + « jean veronis » site:agoravox.fr], 11 resultats non redondants avec Yahoo Search, 37(vrais ?) avec Google Search, mais les snippets de Yahoo sont meilleurs !! Pour moi, Yahoo bride volontairement la profondeure d’access a ses indexes( cout de recherche ? respect de la vie privee ?)

    En fait j’utilise Yahoo comme moteur de recherche quotidien, pour requetes simples ou complexes(les resultats me correspondent mieux), et Google seulement dans le cadre de requetes necessitants non pas de la relevance, mais de la quantite(que je gere moi meme)...

    Google sonne plus hype que Yahoo. Ses resultats, comment le dire ?, ciblent un tres vaste public !

Ajouter une réaction

Pour réagir, identifiez-vous avec votre login / mot de passe, en haut à droite de cette page

Si vous n'avez pas de login / mot de passe, vous devez vous inscrire ici.


FAIRE UN DON







Palmarès