OpenAI annonce plusieurs mesures contre les contenus d'abus sexuels sur mineurs, ou CSAM. Elles concernent aussi bien les utilisateurs de ChatGPT que les entreprises et les services chargés de la protection des enfants, dans un contexte d'inquiétudes croissantes sur la sécurité des outils d'IA.
Common Sense Media dénonce un risque pour les adolescents
Plusieurs procédures judiciaires ont mis en cause la technologie d'OpenAI pour des préjudices allégués envers des utilisateurs, notamment des enfants. Common Sense Media, organisation sans but lucratif spécialisée dans la sécurité, l'a qualifiée de « risque inacceptable » pour les adolescents. D'autres chatbots, dont Grok, ont été employés pour produire des représentations sexualisées sans consentement, y compris de mineurs.
Au cours des 12 derniers mois, OpenAI a publié un plan consacré à la sécurité et revu ses règles pour proscrire les contenus inappropriés. L'entreprise a également modifié son modèle pour empêcher les productions nuisibles et lancé une déclinaison de ChatGPT destinée aux adolescents.
ChatGPT prévoit des suspensions de 24 heures
ChatGPT interdit déjà les contenus CSAM ainsi que les requêtes correspondantes. OpenAI y ajoute des écrans de mise en garde : une tentative de demande sexualisant des enfants doit déclencher une alerte, une orientation vers une aide spécialisée pour arrêter les comportements nuisibles et une suspension du compte de 24 heures. L'entreprise précise qu'une récidive peut aboutir à une suppression définitive.
Vous voulez les meilleurs outils IA avant les autres ?
On teste et on décrypte les nouveaux outils IA chaque soir, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Pour élaborer les messages et les consignes, OpenAI indique avoir travaillé notamment avec Protect Children, la Lucy Faithfull Foundation et Joel Scanlan, de l'Université de Tasmanie. Ces organisations et ce chercheur ont procédé à une évaluation indépendante d'un essai de messages dissuasifs.
OpenAI annonce un tri plus sélectif des images
Le nouveau classificateur est accessible gratuitement par API à certaines entreprises. Selon OpenAI, il repère des indices visuels d'abus sur des images encore jamais rencontrées, y compris des contenus produits par IA, puis leur associe un score pour guider les examinateurs. L'entreprise affirme l'avoir développé avec le National Center for Missing and Exploited Children (NCMEC) ; elle travaille avec Tech Coalition et ROOST pour en partager l'accès.
OpenAI fait état, lors des premiers essais menés avec des partenaires, de 48 % d'images signalées en moins, sans diminution du nombre d'images abusives détectées. L'entreprise y voit une réduction du travail d'examen. Elle indique également que la probabilité qu'une image signalée soit abusive est deux fois plus élevée.
OpenAI accompagne les développeurs comme les enquêteurs
Pour les développeurs utilisant ses outils, OpenAI publie des consignes couvrant la prévention, la détection et l'aide au signalement du CSAM par les utilisateurs. D'après l'entreprise, les essais préliminaires ont aidé plusieurs développeurs à adopter des outils de protection des enfants et à s'inscrire auprès du NCMEC pour lui adresser des signalements.
Les services policiers chargés de protéger les enfants reçoivent aussi des fonctionnalités reposant sur l'IA : plugins spécialisés, outils pour les enquêtes et analyse de données complexes. Leur accès relève d'administrateurs de programme. OpenAI fournit en complément une formation aux enquêteurs et un guide pratique d'utilisation de l'IA.






