Évaluer l'IA : 'Renseignement Utile par Dollar'

Une nouvelle approche pour mesurer la valeur de l'IA

Les directeurs financiers des entreprises se posent une question cruciale : comment maximiser la valeur des investissements réalisés dans l'intelligence artificielle ? Traditionnellement, le succès des logiciels était évalué par des indicateurs tels que le nombre de licences vendues ou le taux d'adoption par les utilisateurs. Cependant, avec l'IA, une approche plus nuancée est nécessaire, centrée sur le travail accompli.

La question économique fondamentale pour les CFO et les dirigeants est de déterminer si la valeur générée par l'IA croît plus rapidement que les coûts associés à sa mise en œuvre. Pour y répondre, il faut aller au-delà de simples métriques comme le coût par token. Un modèle moins cher peut sembler attractif, mais s'il nécessite plus d'essais ou de corrections humaines, le coût total peut s'avérer plus élevé. À l'inverse, un modèle plus coûteux par token peut accomplir une tâche en une seule tentative, réduisant ainsi le coût global. L'objectif est de mesurer le coût total de production d'un résultat réussi par rapport à la valeur qu'il génère.

La métrique ultime pour évaluer l'IA pourrait être le "Renseignement Utile par Dollar". Cette approche repose sur quatre questions essentielles :

• L'IA accomplit-elle un travail significatif ?
• Quel est le coût de chaque tâche réussie ?
• Les résultats sont-ils fiables ?
• Chaque dollar investi en IA produit-il plus de valeur à mesure que l'utilisation augmente ?

1. Mesurer le travail utile accompli

La première étape consiste à évaluer le travail lui-même.

• Combien de problèmes clients l'IA a-t-elle résolus ?
• Combien de modifications de code a-t-elle aidé à finaliser ?
• Combien de contrats a-t-elle examinés ?
• Combien de temps a-t-elle libéré pour les employés ?
• Combien de décisions ont été améliorées grâce à un contexte pertinent fourni au bon moment ?

Les tokens prennent de la valeur lorsqu'ils se transforment en actions utiles pour les utilisateurs. À mesure que les modèles deviennent plus performants, ils peuvent gérer des tâches plus complexes, maintenir le contexte, raisonner sur plusieurs étapes, utiliser des outils et s'adapter en cours de route.

Le point de départ idéal est un flux de travail unique. Définissez ce que signifie "terminé" et mesurez ce résultat dans le système où le travail se déroule.

Pour une équipe de support, "terminé" pourrait signifier un problème client résolu. Pour une équipe d'ingénierie, cela pourrait signifier une modification de code qui passe ses tests. Pour une équipe juridique, cela pourrait signifier un contrat examiné avec précision et à temps.

Prenons l'exemple d'une équipe financière préparant une révision des prévisions. Une grande partie du travail se fait avant qu'une décision finale ne soit prise : trouver la dernière prévision, déplacer des données dans Excel ou Sheets, identifier les changements, réconcilier les onglets, reconstruire les diapositives et vérifier que tout s'additionne parfaitement.

ChatGPT Work peut prendre en charge une grande partie de ce processus, permettant à l'équipe de se concentrer sur les questions qui comptent : Qu'est-ce qui a changé ? Pourquoi ? Que devrions-nous faire ensuite ?

C'est du renseignement utile par dollar en pratique. Plus de travail est accompli, plus rapidement, tandis que les gens passent plus de temps à appliquer leur jugement, leur créativité et leur expertise.

2. Calculer le coût d'une tâche réussie

La question suivante est de savoir combien cela coûte de bien accomplir ce travail.

Les tâches d'IA varient considérablement. Une réponse rapide peut nécessiter peu de calcul. Un flux de travail de codage, de recherche ou financier peut impliquer un raisonnement plus approfondi, l'utilisation d'outils et de nombreuses actions. Ces tâches plus complexes peuvent nécessiter plus de calcul, mais elles peuvent créer beaucoup plus de valeur.

Au niveau du modèle, le coût par tâche réussie dépend du prix, de la quantité de calcul utilisée et de la probabilité d'atteindre le bon résultat. Pour une entreprise, le coût total inclut également le temps des employés, la révision humaine, les nouvelles tentatives et le retravail.

Le calcul est simple :

• Ajoutez le coût total de l'accomplissement du travail.
• Comptez les tâches qui ont atteint le niveau de qualité requis.
• Divisez le coût total par le nombre de tâches réussies.

C'est pourquoi le prix le plus bas par token ne produit pas toujours le coût le plus bas par résultat. Un modèle de pointe peut offrir la meilleure valeur même pour une demande routinière s'il produit la bonne réponse en une seule tentative, réduisant ainsi les nouvelles tentatives, la latence, la révision et le calcul total.

Une famille de modèles à plusieurs niveaux offre aux clients plus de moyens d'optimiser cette équation. GPT-5.6, que nous avons lancé la semaine dernière, a trois niveaux : Sol est notre modèle phare ; Terra équilibre performance et coût ; Luna est notre modèle le plus rapide et le plus abordable.

Ces niveaux fournissent des points de départ utiles. L'économie de la tâche complète devrait finalement déterminer le modèle approprié. Un client pourrait utiliser Luna pour un flux de travail rapide et à fort volume, Terra pour un travail nécessitant plus de profondeur, ou Sol lorsque un raisonnement plus fort produit le meilleur résultat avec moins de tentatives.

Nous avons entraîné GPT-5.6 pour obtenir plus de travail utile de chaque token. Sur l'Index des Agents de Codage d'Analyse Artificielle, GPT-5.6 Sol avec un raisonnement maximal a établi un nouvel état de l'art tout en utilisant 54 % de tokens de sortie en moins qu'un autre modèle leader.

Le graphique ci-dessous illustre la comparaison.

• DeepSWE v1.1 : Tâches d'ingénierie à long terme ; GPT-5.6 Sol atteint un nouveau sommet de 72,7 %, au-dessus de Claude Fable 5 à 69,9 %, avec un coût API estimé 36,2 % inférieur.

À travers la famille GPT-5.6, l'objectif est le même : plus de travail réussi par dollar. Une plus grande efficacité rend les tâches existantes plus abordables. Une plus grande capacité rend possibles de nouveaux types de travail.

Chaque nouvelle génération de modèles devrait améliorer les deux côtés de cette équation. Les clients devraient être en mesure d'accomplir un travail plus précieux tout en voyant le coût de chaque tâche continuer à diminuer.

3. Mesurer la fiabilité de l'IA

La troisième mesure est la fiabilité.

L'adoption de l'IA tend à se développer par étapes. D'abord, l'IA aide à rédiger. Ensuite, elle trouve le contexte et raisonne à travers des outils et des données. Au fil du temps, elle commence à agir, à gérer des exceptions et à compléter des flux de travail, les personnes fournissant jugement et contrôle lorsque nécessaire.

Chaque étape crée plus de valeur et demande plus au système.

La fiabilité a une valeur économique directe. Lorsque les résultats sont précis, bien sourcés, cohérents et escaladés de manière appropriée, les gens passent moins de temps à réviser, corriger et répéter le travail. Les tâches réussies coûtent moins cher, et les organisations gagnent la confiance nécessaire pour utiliser l'IA dans des flux de travail plus importants.

Les équipes peuvent rendre cela concret en suivant trois résultats :

• Prêt à l'emploi : Le résultat a atteint le niveau de qualité requis tel que livré.
• Nécessite correction : Le résultat a nécessité une nouvelle tentative ou des modifications humaines.
• Nécessite escalade : Une personne a dû intervenir et terminer le travail.

Ces mesures racontent une histoire plus riche que la seule précision du modèle. Elles montrent si l'IA réduit réellement le travail impliqué dans l'achèvement du projet.

La fiabilité nécessite également des limites claires. Avant que l'IA ne passe de la rédaction à l'action, les organisations doivent définir :

• Quelles données le système peut accéder.
• Quels systèmes il peut utiliser ou modifier.
• Quand une personne doit examiner ou approuver une action.

La sécurité, la confidentialité, la conformité et le contrôle créent la base pour une utilisation plus approfondie. Les gens doivent comprendre comment le système se comporte, comment leurs données sont traitées et comment ses actions sont régies.

ChatGPT Work s'appuie sur la base de sécurité, de confidentialité, de conformité et de gestion des espaces de travail de ChatGPT Enterprise. Cela permet aux organisations de donner à l'IA plus de contexte et d'accès à des flux de travail plus précieux tout en maintenant une supervision appropriée.

La capacité justifie la première utilisation. La fiabilité fait de l'IA une partie intégrante de la façon dont le travail est accompli.

4. Optimiser l'investissement en IA à grande échelle

La dernière question est de savoir si l'économie s'améliore à l'échelle.

Les entreprises peuvent mesurer cela en suivant le même flux de travail au fil du temps. Suivez combien de tâches ont atteint le niveau de qualité requis, le coût total de leur achèvement et le coût par tâche réussie. Si le travail accompli croît plus rapidement que le coût total tout en maintenant ou en améliorant la qualité, chaque dollar investi en IA produit plus de valeur.

Le calcul est au cœur de cette équation.

Le calcul alimente la recherche et chaque tâche que l'IA accomplit. Il façonne la qualité du produit, la vitesse, la fiabilité, la disponibilité et le coût. Le calcul d'entraînement construit la capacité future. Le calcul d'inférence délivre un travail utile aujourd'hui. Les deux devraient se traduire par de meilleurs résultats pour les clients.

De meilleurs modèles, une inférence plus efficace, du matériel conçu sur mesure, une utilisation plus élevée, un routage plus intelligent et un design produit plus solide améliorent tous le retour sur investissement du calcul. Chaque génération d'infrastructure aide à former des modèles plus capables. De meilleurs algorithmes, matériel et logiciels aident ensuite à servir ces modèles plus efficacement.

Les clients ressentent ces améliorations en termes humains : de meilleures réponses, des résultats plus rapides, moins de corrections, des produits plus fiables et un coût réduit pour le travail dont ils ont besoin.

Les gains se cumulent. Une meilleure infrastructure accélère la recherche. La recherche produit des modèles plus capables et efficaces. De meilleurs modèles améliorent les produits. De meilleurs produits favorisent l'adoption, l'apprentissage et les revenus. Cette croissance soutient un investissement continu dans la prochaine génération de recherche, de calcul, de déploiement et de sécurité.

OpenAI regroupe ces éléments à travers une plateforme d'intelligence partagée. Les gens l'utilisent via ChatGPT et ChatGPT Work. Les développeurs construisent avec elle via Codex et l'API. Les entreprises l'intègrent dans les systèmes où le travail se déroule.

Lorsque l'une des couches s'améliore, chaque produit et client peut en bénéficier.

Une grille d'évaluation pour l'ère de l'IA

Ensemble, ces quatre mesures nous indiquent si le renseignement utile par dollar s'améliore.

Le travail utile nous dit ce que l'IA produit. Le coût par tâche réussie nous dit ce qu'il faut pour atteindre le résultat. La fiabilité nous dit combien de travail les gens peuvent utiliser en toute confiance. La valeur à l'échelle nous dit si chaque dollar, et chaque unité de calcul, accomplit plus au fil du temps.

L'objectif est une IA qui aide les gens à accomplir un travail plus significatif, à prendre de meilleures décisions et à passer plus de temps sur les parties de leur travail qui nécessitent un jugement et une créativité distinctement humains.

Notre travail est d'améliorer cette équation à chaque génération : des modèles plus capables, des résultats plus rapides et plus fiables, et des coûts réduits pour le travail dont les clients ont besoin.

C'est ainsi que l'IA devient plus utile pour un plus grand nombre de personnes et d'organisations au fil du temps.