OpenAI a construit Performance Factory, un système utilisant Codex et ses modèles pour traiter les régressions de performance, avec plus de 1 700 enquêtes suivies en un peu plus de trois mois selon l'entreprise. Celle-ci annonce plus de 600 cas identifiés et 17 enquêtes automatisées par jour. Les agents préparent les corrections, soumises à un ingénieur, puis contrôlent les performances après leur déploiement.
Les agents accèdent aux outils internes d'OpenAI
Les agents travaillent sur le réseau d'OpenAI, dans un environnement cloud accessible par une API interne qui déclenche les exécutions de Codex. Ils disposent des dépôts de code ainsi que des instruments d'observation employés par les ingénieurs : métriques, journaux, traces, profils du processeur et instantanés de mémoire. Une identité de service encadre leurs permissions et permet de distinguer leurs actions.
Selon OpenAI, cette exécution distante autorise le traitement parallèle des tâches sans dépendre des ordinateurs portables des ingénieurs. Elle évite aussi l'administration manuelle d'environnements de développement cloud individuels. L'API constitue l'un des quatre composants du dispositif, avec le suivi des tâches, une boucle d'affectation du travail et des abonnements aux événements.
Un agent n'a pas à rester actif pendant l'attente d'une personne ou d'un déploiement. La tâche peut s'abonner, par exemple, aux commentaires de révision ou aux échecs des contrôles d'intégration continue associés à une demande de fusion GitHub. Quand un événement correspond à cet abonnement, la tâche redevient disponible et un agent peut recevoir la suite du travail.
Les tâches passent des agents aux ingénieurs
Performance Factory organise les investigations et les corrections autour de tâches persistantes, plutôt qu'autour d'une conversation avec un seul agent. Les ingénieurs décrivent les processus dans des fichiers de configuration et rédigent en Markdown les consignes propres à chaque étape. Ils y précisent les états possibles, les transitions permises et les interventions humaines obligatoires. Une boucle examine périodiquement le travail disponible puis lance Codex avec les instructions correspondant à l'état de la tâche.
L'agent enregistre sa progression et fait avancer la tâche lorsqu'il termine son étape. Le statut et les conclusions restent stockés indépendamment de son contexte, permettant à un autre agent ou à un ingénieur de reprendre après une révision de code ou un déploiement. Les ingénieurs consultent ce suivi dans Slack ou dans une interface dédiée ; ils peuvent enrichir le contexte et examiner les modifications suggérées.
Le premier processus opérationnel, nommé Flux de Travail de Régression, ouvre une tâche lorsqu'une alerte de performance configurée se déclenche. Il distingue l'enquête à mener, la cause identifiée, la correction proposée puis la résolution, avec une révision et un déploiement avant le contrôle final. La clôture intervient après le contrôle du retour aux performances initiales.
Vous suivez la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
OpenAI présente aussi la possibilité d'y inscrire des optimisations récurrentes exécutées régulièrement sur ses services. Un processus qui détecte une amélioration potentielle peut créer une tâche dans un autre processus chargé de la tester puis de l'implémenter.
Comment Codex recherche la cause d'un ralentissement
Le diagnostic repose notamment sur perf-forensics, une compétence partagée dans laquelle OpenAI a formalisé la méthode de son équipe de performance. Elle fournit à Codex les outils disponibles, les conditions de leur utilisation et un guide d'investigation. L'agent recherche les métriques dégradées, le début de leur évolution et les requêtes concernées ; la méthode prévoit aussi l'examen des déploiements et des changements de configuration susceptibles d'expliquer le problème.
Le moment de l'alerte ne suffit pas à dater l'incident : elle apparaît au franchissement d'un seuil, alors que la dégradation peut remonter à plusieurs heures auparavant, précise OpenAI. L'agent remonte donc dans les données pour retrouver le début effectif du changement. Il compare ensuite des groupes de requêtes pour déterminer si des requêtes comparables sont devenues plus lentes ou si le service reçoit davantage de requêtes qui l'étaient déjà. Selon l'entreprise, ces situations conduisent à rechercher des causes différentes.
Une fois le problème situé dans le temps et dans le service, l'agent examine les déploiements et les fonctionnalités. OpenAI a éprouvé puis ajusté perf-forensics avec des évaluations fondées sur des régressions anciennes. Pour les catégories visées, notamment la latence et la disponibilité de ChatGPT, l'entreprise affirme obtenir à partir d'une alerte un diagnostic en un passage, sans accompagnement à chaque étape.
Des enquêtes manuelles aux agents autonomes
Avant l'utilisation de Codex, les investigations combinaient lecture des métriques et des journaux, comparaison des traces, débogage sur des machines en fonctionnement et examen du code. OpenAI décrit un travail long, exigeant souvent une connaissance approfondie du service, où des indices utiles pouvaient échapper aux ingénieurs. Face aux incidents récurrents, notamment l'allongement du délai avant le premier token de ChatGPT, l'équipe avait développé des outils spécialisés, dont des profileurs du processeur et des allocations. Son arsenal dépassait 30 outils de performance.
Grâce à l'aide interactive de Codex, un ingénieur pouvait ensuite examiner un ralentissement, y compris dans un système qu'il ne connaissait pas. D'après OpenAI, le modèle était capable de parcourir de vastes bases de code, d'identifier les métriques et les traces utiles, de retracer les échanges entre services et de réaliser le profilage approprié. La direction de l'investigation et la sélection des outils restaient toutefois entre les mains des ingénieurs. L'entreprise estime que cette assistance rendait les cas difficiles accessibles à davantage de personnes, avec moins d'expertise et de temps nécessaires.
Avec les compétences réutilisables, une partie du travail humain s'était réduite à transmettre l'alerte à Codex avec les bonnes consignes puis à reporter sa réponse dans Slack. Le passage des investigations dans le cloud a automatisé le lancement de la session depuis l'alerte et la publication des conclusions dans la conversation correspondante. Mais cette version s'arrêtait au diagnostic : un ingénieur devait encore le prendre en charge, élaborer la correction puis vérifier son effet après déploiement. L'accumulation des alertes imposait également de trier les conversations Slack pour déterminer les régressions nécessitant une intervention.






