Tu suis la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Google sous la loupe : une étude sur la précision de son IA
La start-up Oumi a récemment mené une étude pour le New York Times, analysant la performance de l'intelligence artificielle de Google. En examinant 4 326 recherches effectuées sur Google, l'étude a révélé que les aperçus d'IA de Google ont fourni des réponses correctes dans 85 % des cas avec le modèle Gemini 2, et ce chiffre a grimpé à 91 % avec l'évolution vers Gemini 3.
Cependant, même avec un taux d'erreur de seulement 9 %, cela se traduit par des millions de réponses incorrectes chaque heure, compte tenu de l'énorme volume de recherches traitées par Google. Google a réagi à l'étude en soulignant qu'elle présente des "lacunes sérieuses".
Une précision accrue mais une vérifiabilité en déclin
Bien que l'étude montre une amélioration de la précision des réponses avec le passage à Gemini 3, elle met également en lumière une baisse de la vérifiabilité. En effet, 56 % des réponses correctes fournies par Gemini 3 ne pouvaient pas être vérifiées par les sources citées, contre 37 % avec Gemini 2.
Google accompagne chaque réponse générée par l'IA d'un avertissement indiquant que "les réponses de l'IA peuvent contenir des erreurs", mais la fréquence exacte de ces erreurs reste largement inexplorée.
Méthodologie de l'étude : un benchmark contesté
Pour réaliser cette étude, Oumi a utilisé le benchmark SimpleQA, reconnu dans le secteur. Les tests ont été conduits en deux phases distinctes : une première en octobre avec Gemini 2, suivie d'une seconde en février après la mise à jour vers Gemini 3.
Les résultats ont montré une amélioration notable de la précision, mais Google a critiqué la méthodologie, affirmant que SimpleQA contient des informations incorrectes et ne reflète pas les véritables requêtes des utilisateurs. SimpleQA, développé par OpenAI, est centré sur des questions particulièrement difficiles, celles pour lesquelles au moins un modèle d'IA a échoué lors d'un processus de pré-sélection, et est conçu pour des scénarios sans accès à Internet.
La question de la vérifiabilité des sources
Un autre aspect préoccupant de l'étude est la qualité des sources citées par Google. Parmi les 5 380 sources utilisées, des plateformes comme Facebook et Reddit figurent parmi les plus courantes. Facebook est apparu dans 5 % des réponses correctes et 7 % des réponses incorrectes, soulevant des questions sur la fiabilité de ces sources. Google pourrait avoir un intérêt à privilégier des sources moins susceptibles de poursuivre en justice pour utilisation de contenu.
Le New York Times a relevé plusieurs exemples d'erreurs, même lorsque Google identifie la bonne source. Par exemple, pour une question sur le Classical Music Hall of Fame, bien que Google ait identifié le bon site, il a incorrectement affirmé qu'il n'y avait aucun enregistrement de l'induction de Yo-Yo Ma.
Réactions et critiques de Google
Pour vérifier les réponses à grande échelle, Oumi a utilisé son propre modèle de vérification d'IA, HallOumi. Cependant, cette méthode présente des limites, car l'IA utilisée pour la vérification peut également commettre des erreurs. De plus, les aperçus d'IA peuvent générer des réponses différentes pour des recherches identiques, même lorsque les requêtes sont séparées de quelques secondes.
Ned Adriance, porte-parole de Google, a critiqué l'étude, la qualifiant de défectueuse et soulignant des "lacunes sérieuses". Il a également mentionné que le benchmark SimpleQA est conçu pour des questions difficiles, augmentant naturellement le taux d'échec.
Dans l'Artificial Analysis Intelligence Index, le dernier modèle de Google, Gemini 3.1 Pro, montre une baisse de 38 points de pourcentage du taux d'hallucination par rapport à l'ancien Gemini 3. Google affirme que les résultats avec la recherche web sont plus précis que ceux basés uniquement sur les connaissances du modèle.
L'impact sur le web ouvert et les éditeurs
Le débat sur les aperçus d'IA de Google s'étend au-delà de la précision des réponses, touchant à l'impact sur le web ouvert. En fournissant des réponses directes, Google réduit le trafic vers les sites externes, affectant ainsi leur modèle économique.
Le web ouvert perd son rôle de réseau d'information librement lié, remplacé de plus en plus par une interface d'IA centralisée sous le contrôle de Google. Bien que Google nie que ses aperçus d'IA nuisent au trafic web, il n'a pas encore partagé de données propres pour étayer cette affirmation. De son côté, OpenAI a été plus transparent lors du lancement des fonctionnalités web pour ChatGPT, bien que cette transparence ait diminué avec le temps.
