Ingénieur IA - LLM & Agent Conversationnel (H/F)

DGTL / Signe + est le facilitateur pour tous les acteurs qui recherchent des ressources ou des missions DATA.

Spécialiste du marché Data et BI, nous intervenons dans toute la France comme à l'étranger ; en sous-traitance, pré-embauche, recrutement, portage commercial, portage salarial, etc.

Depuis 2018, nous accompagnons nos clients avec proximité, juste prix et préoccupation éthique de tous les instants.

https://www.dgtl-performance.com

Le poste :

Un grand groupe du secteur de la distribution nous confie la conception, l'industrialisation et l'évolution d'une plateforme d'analyse conversationnelle alimentée par des modèles de langage (LLM). Cette solution, déployée en production, sert à accompagner les équipes métier dans leur accès aux données et la prise de décision via un agent analytique intelligent.

Vous rejoignez une équipe responsable de trois volets stratégiques : l'évaluation et le monitoring de la qualité des réponses (LLM-as-a-Judge), la maintenance et la fiabilité de la plateforme en production, ainsi que les analyses approfondies du comportement de l'agent pour identifier les axes d'amélioration. L'environnement technique repose sur Google Cloud Platform (Agent Platform, Cloud Run), des frameworks d'orchestration multi-agents (Lang Chain, Lang Graph) et des outils de développement Python modernes (FastAPI, Pandas, Num Py). Vous travaillerez en méthodologie Agile, en étroite collaboration avec les équipes métier et les data scientists, dans une démarche d'amélioration continue et de rigueur qualité.

Responsabilités : - Concevoir, maintenir et documenter le framework d'évaluation LLM-as-a-Judge, incluant la définition des métriques, la construction de jeux de test et l'établissement des seuils de qualité - Assurer la maintenance corrective et évolutive de l'agent en production : diagnostiquer et corriger les anomalies, intégrer les mises à jour des composants, gérer les déploiements sécurisés - Réaliser des analyses LLM avancées pour approfondir