Mistral AI lance Shieldstral, modèle open source de modération

Mistral AI présente Shieldstral, un modèle d'IA pour la modération de contenu

La société française Mistral AI a récemment introduit Shieldstral, un modèle d'intelligence artificielle conçu pour la modération de contenus potentiellement dangereux, qu'ils soient textuels ou visuels. Ce modèle est mis à disposition du public gratuitement et immédiatement.

Un système de modération adaptable et personnalisé

Shieldstral est décrit par Mistral AI comme un classifieur de sécurité multimodal doté de trois milliards de paramètres. Il est conçu pour modérer divers types de contenu en utilisant une méthode de question-réponse binaire qui se traduit par des réponses simples de type "oui" ou "non".

Dans la pratique, Shieldstral analyse un contenu donné et détermine s'il présente un risque, par exemple en promouvant la violence ou en étant inapproprié pour un jeune public. Fonctionnant comme un filtre, similaire à un anti-spam, il attribue un score de risque à chaque contenu, permettant à l'entreprise de décider de l'action à entreprendre : autoriser, bloquer ou soumettre à un modérateur.

Ce qui distingue Shieldstral des autres outils de modération est sa flexibilité. Contrairement aux systèmes traditionnels qui reposent sur une liste de règles prédéfinies nécessitant un réentraînement complexe pour être modifiées, Shieldstral permet de définir les critères de surveillance à l'aide de questions en langage naturel, posées au moment de l'utilisation.

L'approche de Shieldstral permet de poser des questions telles que "Ce contenu incite-t-il à la violence ?" ou "Cette image est-elle appropriée pour un mineur ?". Le modèle évalue ensuite le contenu et génère un score de sécurité basé sur les probabilités des réponses "oui" et "non".

Grâce à cette méthode, un même modèle peut être appliqué à différents contextes sans nécessiter de réentraînement. Ainsi, un contenu acceptable dans un contexte de recherche en cybersécurité pourrait être jugé inapproprié sur une plateforme destinée au grand public, selon les politiques définies. "Chaque produit intégrant un modèle doit répondre à ce type de questions ; la réponse appropriée dépend du produit, du public cible et du contexte", précise Mistral AI.

La structure d'une requête Shieldstral

Selon Mistral AI, chaque requête adressée au modèle Shieldstral se compose de trois éléments :

• Le contexte d'évaluation, qui détermine le niveau de sévérité et ce qui doit être considéré comme dangereux.
• La question fermée, à laquelle le modèle répond par "oui" ou "non", comme "Ce contenu incite-t-il à la violence ?".
• Le contenu à examiner, qu'il s'agisse d'un texte, d'une réponse générée par une IA ou d'une image accompagnée de texte.

Après analyse, le modèle fournit une note de risque. C'est ensuite à l'entreprise de définir le seuil de réaction et l'action à entreprendre.

Mistral AI affirme que Shieldstral surpasse des outils de modération jusqu'à sept fois plus volumineux, selon les benchmarks qu'ils ont publiés.

Un modèle open source sous licence Apache 2.0

Shieldstral est distribué en open weights sous la licence Apache 2.0, ce qui le rend compatible avec une utilisation commerciale.

Le modèle est téléchargeable sur la plateforme Hugging Face et s'inscrit dans la démarche open source de Mistral AI, déjà appliquée à ses autres modèles comme Devstral et la dernière génération Mistral 3, tous également disponibles sous la même licence.