Tu veux les meilleurs outils IA avant les autres ?
On teste et on décrypte les nouveaux outils IA chaque soir, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
L'écart d'évaluation des agents d'IA
Dans une étude récente menée auprès de 157 entreprises, il a été révélé que les organisations accordent de plus en plus d'autonomie à leurs agents d'intelligence artificielle. Cependant, cette autonomie croissante s'accompagne d'une méfiance croissante envers les évaluations censées réguler ces agents. En effet, la moitié des entreprises interrogées ont déjà déployé un agent qui, bien qu'ayant réussi les évaluations internes, a échoué lors de son utilisation par un client. Actuellement, seulement une entreprise sur vingt accorde une confiance totale aux évaluations automatisées. La principale faiblesse identifiée est que ces évaluations ne reflètent pas les résultats du monde réel. Malgré cela, deux tiers des organisations permettent déjà, ou envisagent activement, de déployer des modifications d'agents en production sur la seule base d'évaluations automatisées, sans intervention humaine. Cela crée un écart d'évaluation : une divergence entre l'autonomie accordée aux agents et la confiance dans les tests censés détecter les échecs.
Cette enquête de VentureBeat Pulse explore comment les leaders techniques mesurent la performance des agents, quels outils de fiabilité et d'évaluation ils utilisent, comment ils choisissent ces outils et leur font confiance, ce qui échoue en production, et jusqu'où ils sont prêts à laisser les agents fonctionner sans intervention humaine.
Résultats principaux
Un écart d'évaluation préoccupant
La moitié des organisations ont déployé un agent ou une fonctionnalité de LLM qui a réussi leurs évaluations internes, mais qui a ensuite échoué face à un client. Un quart de ces entreprises ont constaté que cela s'était produit à plusieurs reprises. La confiance dans les tests eux-mêmes est faible : seulement 5% des entreprises affirment faire entièrement confiance à l'évaluation automatisée aujourd'hui. La limitation la plus souvent citée, par 29% des entreprises, est que les évaluations ne correspondent pas aux résultats du monde réel. Cela signifie qu'une évaluation réussie ne garantit pas le bon fonctionnement d'un agent.
Confiance limitée dans l'évaluation automatisée
La principale critique formulée par les entreprises est que les évaluations ne correspondent pas aux résultats du monde réel. Seules 5% des organisations font entièrement confiance aux évaluations automatisées telles qu'elles sont actuellement, ce qui signifie que 95% des entreprises identifient une limitation qui les freine. La plus courante, à 29%, est que les évaluations ne correspondent pas aux résultats du monde réel, permettant à des agents de passer qui échouent par la suite. D'autres limitations incluent le biais ou l'incohérence (21%) et un manque d'explicabilité (18%).
L'autonomie des agents en hausse
Malgré les préoccupations, deux tiers des organisations (66%) permettent déjà un déploiement entièrement automatisé, sans intervention humaine, pour des agents à faible risque (34%) ou travaillent activement à l'autoriser dans les douze mois (33%). Seules 22% des entreprises excluent cette possibilité pour un avenir prévisible. La tendance est claire : les entreprises avancent vers un déploiement autonome des évaluations en production, tout en affirmant que ces évaluations ne correspondent pas de manière fiable à la réalité.
Une pile d'évaluation fragmentée
Les outils d'évaluation natifs des fournisseurs dominent le paysage, mais 17% des entreprises n'ont aucun outil dédié. La couche d'évaluation est encore à un stade précoce et non consolidé. Les outils natifs des fournisseurs, tels que ceux d'OpenAI et d'Anthropic, sont les plus courants, mais il n'existe pas de plateforme indépendante qui soit devenue la norme de catégorie.
Surveillance de la production
Seulement 25% des entreprises effectuent des contrôles de qualité en temps réel sur le trafic de production en direct. La surveillance de la production pour un agent d'IA peut se concentrer sur le fonctionnement du système ou sur la qualité des réponses fournies. La distinction est importante, car une réponse incorrecte mais fonctionnelle peut passer inaperçue si la surveillance ne se concentre que sur le fonctionnement.
- 51% des organisations surveillent uniquement si l'agent fonctionne correctement.
- 23% surveillent si les réponses de l'agent sont correctes.
Cette situation souligne l'importance d'une évaluation rigoureuse et d'une surveillance adéquate pour garantir la fiabilité des agents d'IA en production.
