L'architecte en chef de JioStar décrit la mise en production d'un assistant de découverte vidéo et de statistiques de cricket, bâti en huit semaines et disponible en plus de 15 langues. À la clé : une approche d'évaluation continue, des garde-fous, l'appui d'experts métiers et une surveillance de l'efficacité des modèles pour opérer à l'échelle de 500 millions d'utilisateurs.
Validation, garde-fous et experts au cœur de la fiabilité
JioStar a structuré l'évaluation en deux volets : un cadre d'évaluation et une couche de validation, avec pour objectif de faire évoluer le système avant et pendant la production. En phase de production, une boucle de rétroaction transforme les comportements des utilisateurs et les échecs en nouveaux cas d'évaluation, un mécanisme jugé difficile à mettre en œuvre. Des experts du domaine, dont des rédacteurs de magazines sportifs, ont été impliqués pour anticiper les demandes des utilisateurs exigeants, JioStar estimant qu'une expertise humaine approfondie est nécessaire au-delà d'un simple prompt. La première étape de conception a consisté à définir la portée et les questions auxquelles le système ne devait pas répondre, en posant d'emblée les garde-fous. La validation s'appuie sur un schéma maker-checker, avec un modèle générant la réponse et un LLM validateur poursuivant un objectif concurrent, ce qui soulève la question de l'évaluation du validateur lui-même. Malgré l'accélération des développements, JioStar rappelle que le jugement humain et la validation demeurent indispensables, et souligne le besoin de garde-fous et d'une attribution claire des responsabilités aux bonnes personnes.
Compromis techniques et surveillance en production
La conception a été guidée par un compromis entre précision, latence et coût. La voix occupe une place centrale, avec plus de 60 % des utilisateurs qui la préfèrent au texte, ce qui impose des réponses pertinentes, rapides et économiquement viables. Avec le recul, Vijay Seshadri investirait plus tôt dans la surveillance de la production axée sur l'efficacité des modèles. Les métriques d'infrastructure classiques comme la latence P99 restent nécessaires, mais JioStar les juge insuffisantes si elles ne sont pas complétées par un suivi spécifique de l'efficacité des modèles en situation réelle.
Vous suivez la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Organisation resserrée et appui d'OpenAI
Le projet a démarré avec une petite équipe de scientifiques des données et d'ingénieurs réunis autour d'une problématique clairement formulée. Des ingénieurs déployés par OpenAI ont travaillé avec l'équipe pour identifier les éléments à réussir en priorité. Pour l'évaluation, l'équipe est partie d'un ensemble de données initial et a utilisé des modèles pour accroître la variété des cas. Codex a contribué à accélérer la génération de jeux d'évaluation et la mise à jour du système.
Cas d'usage couvrant divertissement et cricket
L'assistant vise à la fois les spectateurs de divertissement et les fans de cricket, avec des besoins différents. Les premiers peuvent formuler des requêtes générales ou décrire un film sans en connaître le titre, tandis que les seconds recherchent des événements précis comme des chutes de wickets, des séries de six ou des matchs associés à des performances chiffrées, et des experts souhaitent des statistiques à la balle. L'expérience combine une interaction conversationnelle et une présentation visuelle, selon une approche qualifiée d'interface vocale-visuelle par JioStar.
Portée multilingue et calendrier serré
L'assistant, intégré à JioHotstar via l'API OpenAI, a été conçu et lancé en environ huit semaines. Le travail a débuté en octobre et novembre, avec pour cible un grand tournoi de cricket prévu en février, soit un délai d'environ deux mois. L'expérience prend en charge plus de 15 langues, une contrainte supplémentaire dans un calendrier resserré.
Exigences d'échelle et conseils de pilotage
Les plateformes de JioStar servent plus de 500 millions de consommateurs et ont déjà soutenu jusqu'à 72,5 millions de spectateurs simultanés pour des événements sportifs. Lors du Sommet Exécutif d'OpenAI à Singapour, l'architecte en chef Vijay Seshadri a partagé sa vision de la découverte de contenu et ses recommandations pour le passage à l'échelle en entreprise. JioStar observe un écart entre les avancées technologiques et la réalité opérationnelle, et encourage à privilégier les résultats plutôt que l'activité, les métriques d'entrée comme les lignes de code générées ne démontrant pas, à elles seules, la création de valeur. Pour Seshadri, l'IA doit servir à simplifier les processus, les flux de travail et les systèmes logiciels. L'entreprise souligne aussi que les compétences humaines et l'agence sont souvent sous-estimées : un outil comme Codex peut démultiplier l'impact d'un ingénieur talentueux, mais sans le jugement nécessaire pour valider les systèmes de production, le risque augmente également.
