Tu suis la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Des expériences menées par une chercheuse de Lasso Security montrent que l’activation de SynthID-Text modifie la façon dont six modèles ouverts réagissent à des demandes nuisibles, en particulier lors d’injections de prompt. Les essais reposent sur l’implémentation Hugging Face et n’incluent pas Claude, alors que les plateformes accélèrent le déploiement du watermarking sous contrainte européenne.
Des refus affaiblis et des agents affectés sous watermarking
Andrea Siposova rapporte que le watermarking a modifié les réponses à des demandes nuisibles, avec un effet plus marqué lorsque ces demandes étaient associées à une injection de prompt. Elle observe que le comportement de refus sur des demandes nuisibles pures évolue et que, sur plusieurs modèles, l’activation du marquage augmente la probabilité de répondre à des requêtes auparavant refusées. Ces évolutions influencent aussi les agents connectés au modèle : les mêmes tokens échantillonnés peuvent changer l’outil appelé et les arguments transmis. La chercheuse décrit cet effet global comme une évolution d’échantillonnage. Les résultats indiquent qu’au moins certaines formes de watermarking peuvent impacter la sécurité, et ils appellent à des exercices de red-team pour vérifier le fonctionnement des plateformes quand SynthID est activé. Dans certains cas, des instructions normalement écartées sont exécutées une fois le marquage déployé, ce qui accroît la menace en contexte adversarial, notamment lorsqu’un attaquant tente d’obtenir des actions nuisibles. Il est recommandé que les développeurs testent soigneusement le comportement des modèles et des agents avec le marquage en place.
Ce que les tests ont réellement mesuré et leurs limites
Andrea Siposova a évalué la configuration non-distortionnaire via le composant SynthIDTextWatermarkLogitsProcessor non modifié de Hugging Face. Les essais ont consisté à soumettre des invites nuisibles à six modèles à poids ouverts et à comparer les réponses avec et sans watermarking. Le protocole ne couvre pas les modèles Claude et cible des modèles ouverts pour permettre d’activer ou non l’échantillonnage par tournoi tout en maintenant d’autres paramètres constants. L’implémentation testée est celle de Hugging Face, distincte de celle que les futurs Claude utiliseront. Dans ce cadre, la chercheuse rapporte que le marquage peut aussi modifier les outils qu’un modèle invoque et les probabilités de respecter ses garde-fous.
Comment SynthID-Text ajuste la génération token par token
SynthID-Text utilise une méthode d’échantillonnage par tournoi, dans laquelle plusieurs propositions pour le prochain token sont comparées deux à deux afin de sélectionner la meilleure. Le dispositif intègre dans la chaîne un générateur de graine pseudo-aléatoire, un algorithme d’échantillonnage ainsi qu’une fonction d’évaluation, et substitue au générateur aléatoire classique une clé secrète. Bien que le choix reste soumis au hasard, la suite obtenue peut être authentifiée par les détenteurs de la clé, ce qui permet d’évaluer la probabilité que cette clé ait servi. Concrètement, la clé peut orienter vers un synonyme différent et inscrire un signal de provenance, de sorte que le contenu reste lisible tout en étant détectable comme généré par IA.
Pression réglementaire et déploiements annoncés
Les plateformes d’IA mettent en place de nouveaux mécanismes de marquage en réponse à une loi européenne. Anthropic prévoit d’équiper ses futurs modèles Claude de SynthID-Text, une approche conçue par Google et publiée en open source.
