L’IA qui transforme le business ?
Stratégies, mouvements et levées IA décryptés, chaque soir en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
L'IA de Google et ses erreurs d'orthographe
L'intelligence artificielle de Google a récemment été mise en lumière pour ses erreurs d'orthographe surprenantes. Par exemple, elle a affirmé qu'il y avait deux 'P' dans 'Google'. D'autres exemples incluent l'orthographe incorrecte de 'journalisme' en 'journadism' et du nom du président américain en 'trpum'.
Il n'était pas nécessaire d'être un prophète pour prédire que la refonte de la recherche de Google, axée sur l'IA, allait mal se passer. Nous avons déjà vécu cela. La première fois que Google a ajouté des aperçus d'IA à la recherche, la fonctionnalité a fini par citer des publications satiriques de The Onion et Reddit, conseillant aux gens de manger des pierres et de mettre de la colle sur leur pizza.
Cette fois-ci, alors que Google renforce son engagement à faire de l'IA générative le point central de son produit phare âgé de 29 ans, il n'est pas surprenant de le voir trébucher. Google réorganise l'ensemble de son moteur de recherche à ce sujet.
« Compter dans les mots a été un défi connu pour les LLM, et nous travaillons à résoudre ce problème particulier », a déclaré Google à TechCrunch dans un communiqué par e-mail.
Les défis des modèles de langage
Les modèles de langage, ou LLM, qui alimentent les chatbots et autres générateurs de texte, ne sont pas conçus pour comprendre l'orthographe. Cela fait des années que c'est une blague récurrente : chaque fois qu'une entreprise dévoile un nouveau modèle d'IA, il faut lui demander combien de 'r' il y a dans le mot fraise. Ces modèles d'IA — capables de coder une application en quelques secondes ou de résoudre des problèmes qui ont déconcerté les mathématiciens pendant des décennies — sont à peu près aussi bons qu'un enfant de maternelle en orthographe.
Les problèmes d'aperçu de l'IA de Google vont au-delà des simples erreurs d'orthographe. Google a déjà corrigé un problème de la semaine dernière où la recherche du mot « disregard » donnait ce qui ressemblait à une définition de dictionnaire, mais la définition était affichée comme : « Compris. Faites-moi savoir quand vous avez un nouveau prompt ou une question ! » Mais ces erreurs d'orthographe demeurent amusantes car elles sont si difficiles à éradiquer.
Comme les chercheurs l'ont précédemment expliqué lorsque nous avons posé des questions sur ces énigmes orthographiques, l'IA ne perçoit pas les phrases comme des unités de langue composées de mots et de lettres. De nombreux LLM sont basés sur des modèles de transformateurs, qui décomposent le texte en tokens, qui peuvent être des mots entiers, des syllabes ou des lettres, selon le modèle. Au lieu de « lire » comme un humain le ferait, l'IA convertit le texte en représentations numériques de lui-même, qui sont ensuite contextualisées pour aider l'IA à formuler une réponse logique.
« Les LLM sont basés sur cette architecture de transformateur, qui, il convient de le noter, ne lit pas réellement le texte. Ce qui se passe lorsque vous saisissez un prompt, c'est qu'il est traduit en un encodage », a déclaré Matthew Guzdial, chercheur en IA et professeur adjoint à l'Université de l'Alberta, à TechCrunch. « Lorsqu'il voit le mot 'the', il a cet encodage de ce que signifie 'the', mais il ne sait rien de 'T', 'H', 'E'. »
Un problème sans solution immédiate
L'architecture basée sur les tokens qui alimente les LLM comme l'aperçu de l'IA de Google est intrinsèquement limitante, et les chercheurs ne sont pas optimistes quant à leur capacité à résoudre le problème d'orthographe.
« Il est difficile de contourner la question de ce qu'est exactement un 'mot' pour un modèle de langue, et même si nous parvenions à faire convenir des experts humains sur un vocabulaire de tokens parfait, les modèles trouveraient probablement encore utile de 'regrouper' les choses encore plus », a déclaré Sheridan Feucht, doctorant étudiant l'interprétabilité des modèles de langage à l'Université Northeastern, à TechCrunch. « Mon avis serait qu'il n'existe pas de tokenizer parfait en raison de ce type de flou. »
Ce n'est pas nécessairement un problème urgent pour les chercheurs, car l'utilité des LLM ne réside pas dans leur capacité à épeler. Mais ces échecs flagrants nous rappellent que l'IA n'est pas parfaite, même si elle peut parfois sembler être une puissance omnisciente au-delà de notre compréhension. Nous ne pouvons pas faire confiance aveuglément aux résultats de l'IA sans vérifier leur exactitude.
