IA générative : de la fascination à la fiabilité, un défi colossal

Le défi de rendre l'IA générative fiable

Depuis plusieurs années, les conversations autour de l'IA générative se multiplient, captivant aussi bien le grand public que les experts techniques. Ces échanges portent souvent sur les capacités impressionnantes des modèles d'IA, qu'il s'agisse de rédiger des programmes complexes ou de composer des chansons sur des thèmes variés, comme l'amour pour un animal de compagnie. La fascination pour ce que ces modèles peuvent accomplir est indéniable.

Cependant, la question de savoir si ces réalisations sont de qualité est essentielle. La possibilité d'une tâche ne garantit pas sa qualité. Ceux qui ont étudié la probabilité ou les statistiques savent qu'avec un espace d'échantillonnage suffisamment vaste, presque tout peut se produire. Le véritable défi réside dans la capacité à prédire la probabilité de ces résultats et à s'y fier de manière répétée.

Cette distinction est cruciale, surtout lorsqu'il s'agit de construire des systèmes IA pour des applications de production, où la cohérence est primordiale, contrairement aux démonstrations qui mettent en avant des cas limites spectaculaires. À mesure que l'IA s'intègre dans les processus décisionnels, il est crucial de revisiter les fondements de la théorie des probabilités pour comprendre où les hypothèses de fiabilité commencent à se fissurer.

1. La complexité des espaces de possibilités

Construire des systèmes IA fiables est un défi bien plus ardu que d'en discuter. Pour comprendre pourquoi, il est utile de considérer les espaces d'échantillonnage. Prenons l'exemple simple d'un lancer de pièce, où les résultats possibles sont limités à pile ou face. En revanche, un modèle de langage générant une séquence de 512 tokens avec un vocabulaire de 50 000 tokens possibles crée un espace d'échantillonnage de taille 50 000^512, une immensité difficile à concevoir.

Dans un tel contexte, la proportion de résultats utiles et cohérents est minuscule comparée aux innombrables alternatives plausibles. Ainsi, lorsque le modèle produit une réponse possible mais peu probable, on parle d'hallucination. Ces hallucinations ne sont pas nécessairement des erreurs logicielles, mais le résultat d'un échantillonnage dans des régions de faible probabilité.

Il serait tentant de penser que l'ajout de données pourrait éliminer ces hallucinations. Cependant, dans les systèmes probabilistes, échantillonner implique toujours un risque de tomber dans des zones de faible probabilité.

2. Fréquentisme et bayésianisme dans l'évaluation de l'IA

L'évaluation des systèmes IA repose souvent sur deux approches distinctes. La première, d'inspiration fréquentiste, consiste à exécuter 1000 tâches de référence et à mesurer la performance. Si un modèle réussit 850 de ces tâches, il est considéré comme ayant une précision de 85 %.

La seconde approche, bayésienne, part d'attentes sur le comportement d'un système intelligent et ajuste ces croyances face à des échecs inattendus. Cette distinction est cruciale car les invites ne sont généralement pas des événements indépendants. Par exemple, si un modèle répond correctement à neuf questions mathématiques, cela ne garantit pas la même précision pour la dixième question.

Les modèles de langage ne fonctionnent pas comme une série d'essais de Bernoulli indépendants. Leurs sorties dépendent du contexte précédent, des représentations cachées et de la densité d'exemples connexes au sein de la distribution d'entraînement, rendant leur précision souvent conditionnelle plutôt que fixe.

3. La confiance des modèles IA : une illusion ?

Dans le domaine de l'apprentissage automatique, la fonction Softmax est fréquemment utilisée pour interpréter les sorties des modèles comme des scores de confiance. Par exemple, un modèle qui attribue une probabilité de 90 % à une prédiction semble sûr de lui. Cependant, cette interprétation peut être trompeuse.

La fonction Softmax amplifie les petites différences entre les logits en raison de son terme exponentiel. Ainsi, un modèle peut paraître confiant non pas parce qu'il "sait" quelque chose, mais parce qu'une légère différence a été amplifiée. Cela conduit à ce que l'on appelle le problème du "fou confiant", où un système affirme avec assurance quelque chose d'incorrect sans exprimer d'incertitude.

4. La loi des grands nombres et ses limites

La loi des grands nombres suggère qu'avec des échantillons suffisamment grands, les moyennes observées convergent vers leurs valeurs attendues. Cette idée motive l'utilisation de datasets massifs pour l'entraînement des modèles. On pourrait penser qu'en voyant suffisamment d'exemples, un modèle finirait par apprendre la vérité.

Cependant, cette hypothèse repose sur la stabilité de la distribution sous-jacente, ce qui n'est pas le cas du langage humain, qui évolue constamment et contient des contradictions, des biais et des inexactitudes. Le modèle ne converge donc pas nécessairement vers la "vérité", mais vers les motifs dominants. Ainsi, une idée fausse fréquente dans les données peut être apprise par le modèle comme une continuation probable.

Le langage parlé varie d'une région à l'autre. Même au sein de la même ville, les gens utilisent le même langage, les mêmes expressions et les mêmes mots différemment, ce qui complique encore plus la tâche des modèles d'IA.

5. Stochasticité et créativité : une confusion courante

Les systèmes IA sont souvent qualifiés de "créatifs" lorsqu'ils produisent des résultats inattendus. Pourtant, d'un point de vue probabiliste, cela peut être dû à autre chose. L'échantillonnage de température modifie la probabilité de sélectionner des tokens moins probables. Une température basse produit des résultats prévisibles, tandis qu'une température élevée augmente la diversité et le risque d'hallucinations.

En augmentant la température, on aplatit la distribution de probabilité, échantillonnant plus fréquemment des résultats de faible probabilité. Ce que l'on perçoit comme de la créativité peut en réalité être l'exploration de régions improbables de la distribution par le modèle.

6. Vers des systèmes IA fiables

Pour construire des systèmes IA qui fonctionnent de manière cohérente dans des environnements réels, il est crucial de se concentrer sur la fiabilité plutôt que sur la simple possibilité. Plusieurs approches peuvent aider à atteindre cet objectif :

• Utiliser des techniques comme le Platt Scaling et la régression isotone pour aligner les scores de confiance avec la performance observée.

• Employer des méthodes telles que les réseaux de neurones bayésiens ou le Monte Carlo Dropout pour quantifier l'incertitude d'un modèle.

• Mettre en place des validations externes pour imposer des structures et des exigences de sortie, plutôt que de supposer que le modèle suivra naturellement les règles.

Il y a quelques années, la simple capacité des systèmes IA à prédire le mot suivant était impressionnante. Aujourd'hui, le véritable défi est de prédire le bon mot de manière répétée et fiable, surtout avec l'émergence constante de nouveaux modèles prometteurs. La prochaine fois que vous serez impressionné par une démonstration d'IA, posez-vous la question : "Est-ce représentatif du modèle ou est-ce un échantillon exceptionnellement chanceux ?"

Dans un monde où presque tout peut arriver, l'ingénierie se concentre sur ce qui est fiable et reproductible.