IA : comprendre « récurrence opaque » et agents autonomes

Le langage de l’IA s’est enrichi de notions parfois ambiguës, des agents autonomes aux GANs, en passant par la distillation et la diffusion. Tour d’horizon des termes clés, des risques d’hallucination aux débats sur l’AGI, et des briques matérielles aux méthodes d’entraînement.

Hallucinations et inquiétudes sur le raisonnement d’Astra

Les hallucinations désignent les moments où un modèle d’IA invente des informations et produit des résultats incorrects. Ce défaut nuit à la qualité des systèmes et peut entraîner des risques concrets, comme des conseils médicaux erronés. Ce phénomène est attribué à des lacunes dans les données d’entraînement, ce qui encourage le développement de modèles plus spécialisés ou verticaux pour limiter ces erreurs. Par ailleurs, la « récurrence opaque » est une technique de raisonnement utilisée dans le modèle Astra d’OpenAI, qui suscite des inquiétudes parmi les chercheurs en sécurité de l’IA.

Agents autonomes : du pilotage d’API aux développeurs automatisés

Un agent IA est un outil qui utilise des technologies d’intelligence artificielle pour accomplir une série de tâches à la place de l’utilisateur, allant au-delà des capacités d’un simple chatbot. Ces tâches peuvent inclure la gestion de dépenses, la réservation de billets ou la maintenance de code. Le terme recouvre des réalités variées, car l’infrastructure de ce domaine est encore en développement, mais il désigne généralement un système autonome capable de s’appuyer sur plusieurs systèmes d’IA pour réaliser des tâches en plusieurs étapes. Les agents IA peuvent exploiter des points de terminaison API, des interfaces logicielles invisibles pour l’utilisateur, afin de contrôler des services tiers ou d’extraire des données. À mesure que leurs capacités progressent, ils sont de plus en plus aptes à découvrir et utiliser ces interfaces de façon autonome, ouvrant la voie à des scénarios d’automatisation parfois inattendus. Dans le domaine du développement logiciel, des agents de codage peuvent écrire, tester et déboguer du code de manière autonome, repérer des bogues à l’échelle d’une base de code et proposer des corrections avec peu de supervision humaine.

Ce que coûte l’IA en machines et en temps d’exécution

La puissance de calcul est essentielle à l’entraînement et à l’exécution des modèles d’IA. Elle fait souvent référence à des matériels comme les GPU, CPU, TPU et autres infrastructures. L’inférence, c’est-à-dire l’exécution d’un modèle pour faire des prédictions, peut être réalisée sur différents types de matériel, du smartphone aux accélérateurs spécialisés, mais les performances varient fortement selon le support. Les modèles volumineux sont beaucoup plus lents à prédire sur un ordinateur portable que sur un serveur cloud équipé de puces d’IA haut de gamme.

La distillation permet de transmettre les réponses d’un modèle à un autre

La distillation consiste à transférer les comportements d’un grand modèle enseignant vers un modèle élève : on interroge l’enseignant, on enregistre ses réponses, qui peuvent être comparées à un jeu de données, puis on entraîne l’élève à reproduire ce comportement. Cette méthode permet de créer des modèles plus petits et efficaces avec une perte minimale. OpenAI aurait probablement utilisé cette technique pour développer GPT-4 Turbo. Toutes les entreprises d’IA emploient la distillation en interne, et il est rapporté que certaines pourraient s’en servir pour rattraper des modèles de pointe, ce qui peut enfreindre les conditions de service des API d’IA et des assistants de chat. L’affinage, quant à lui, consiste à réentraîner un modèle sur des données spécialisées pour optimiser ses performances sur une tâche ou un domaine précis, une pratique courante chez les startups qui adaptent de grands modèles à leur secteur. Pour le raisonnement, la chaîne de pensée décompose les problèmes en étapes intermédiaires, ce qui prend plus de temps mais améliore la justesse des réponses, notamment en logique et en programmation. Des modèles de raisonnement issus de grands modèles de langage sont optimisés pour cette approche grâce à l’apprentissage par renforcement. Des exemples illustrent la différence entre une question simple, qui ne nécessite pas de raisonnement intermédiaire, et un problème qui demande des calculs détaillés.

Deux piliers de la génération : diffusion et GANs

La diffusion est une technique centrale dans de nombreux modèles d’IA générant de l’art, de la musique ou du texte. Elle consiste à ajouter progressivement du bruit aux données jusqu’à en détruire la structure, puis à apprendre un processus de diffusion inverse pour reconstituer l’information à partir du bruit. Les GANs, ou réseaux antagonistes génératifs, reposent sur la compétition entre un générateur et un discriminateur, ce qui améliore la vraisemblance des sorties sans intervention humaine supplémentaire. Cette méthode est particulièrement efficace pour des applications ciblées comme la création d’images ou de vidéos réalistes.

Le deep learning s’appuie sur des réseaux de neurones multicouches

Le deep learning constitue un domaine de l’apprentissage automatique qui repose sur l’utilisation de réseaux de neurones artificiels multicouches, conçus sur le modèle des réseaux neuronaux du cerveau humain. Ces modèles sont en mesure de repérer de façon autonome des éléments clés dans les jeux de données, d’ajuster leur comportement à partir des erreurs commises et de progresser en performance au fil des itérations. Pour fonctionner, ils requièrent un très grand volume d’exemples, souvent plusieurs millions, ainsi qu’une phase d’entraînement prolongée, ce qui engendre des coûts de développement importants. Parallèlement, le terme calcul désigne le socle matériel — GPU, CPU, TPU, infrastructures — qui rend possible l’entraînement et l’exécution de ces modèles.

AGI : des définitions concurrentes coexistent

L’intelligence artificielle générale (AGI) est généralement décrite comme une IA plus capable que l’humain moyen dans de nombreuses tâches, mais les définitions varient selon les acteurs. Sam Altman, PDG d’OpenAI, la décrit comme l’équivalent d’un humain médian que l’on pourrait engager comme collègue. La charte d’OpenAI évoque des systèmes hautement autonomes qui surpassent les humains dans la plupart des travaux économiquement précieux. Google DeepMind considère l’AGI comme une IA au moins aussi capable que les humains dans la plupart des tâches cognitives. Dans un contexte où le vocabulaire — incluant LLMs, RAG, RLHF — évolue rapidement et peut rendre même les spécialistes incertains, un glossaire régulièrement mis à jour est proposé comme référence.