Le MIT montre la difficulté de retracer l’origine des images IA

⚡

Key Takeaways

1Le MIT mesure une chute rapide de l’attribution des images générées quand les jeux d’entraînement grossissent (R² 0,85 ; p < 10⁻⁵).

2Le procès intenté par Sarah Andersen doit s’ouvrir le 8 septembre ; le juge exige une preuve d’apparition identifiable d’une œuvre protégée.

3Des filigranes C2PA sont adoptés par les grands acteurs, mais des travaux et des utilisateurs disent pouvoir les retirer en secondes.

💡Why it matters — La capacité à prouver l’origine d’une image générée conditionne des litiges en cours et interroge l’efficacité des dispositifs de marquage déjà adoptés par l’industrie.

Une expérimentation du MIT conclut que la capacité à relier une image générée à une source précise décroît très vite avec la taille des jeux d’entraînement. Alors que s’ouvre un procès clé intenté par Sarah Andersen, les géants misent sur des marquages C2PA, que des chercheurs et des utilisateurs disent déjà pouvoir retirer.

Des filigranes supprimés par recherche et par simple manipulation

Des chercheurs de l’université du Maryland ont réussi à supprimer des filigranes intégrés aux images générées par IA en utilisant une technique de purification par diffusion. Par ailleurs, sur des forums spécialisés, certains utilisateurs affirment pouvoir retirer ces marquages en une trentaine de secondes, soit via des services en ligne, soit en réalisant une capture d’écran suivie d’un agrandissement.

Procès Sarah Andersen : la preuve exigée et le calendrier

En janvier 2023, Sarah Andersen, dessinatrice, a intenté une action en justice contre Stability AI, Midjourney et DeviantArt, leur reprochant d’avoir utilisé environ cinq milliards d’images provenant de la base LAION pour entraîner leurs modèles, sans en avoir obtenu l’autorisation. En août 2024, le juge William Orrick a refusé la demande de non-lieu présentée par les défendeurs et la tenue du procès devant un tribunal fédéral est prévue pour le 8 septembre. D’après le magistrat, la décision dépendra de la démonstration qu’une œuvre protégée figure de façon identifiable dans le système d’IA concerné. Des chercheurs du MIT estiment qu’il est quasiment impossible de fournir une telle démonstration pour des modèles ayant été entraînés sur des quantités de données très importantes.

L’expérience du MIT mesure l’« attribution decay »

Au sein du CSAIL du MIT, Zheng Dai et David Gifford ont mené l’entraînement de vingt-quatre modèles de diffusion sur des ensembles de données dont la taille varie entre 256 et plus de 160 000 images. Pour chaque modèle, ils ont procédé au retrait d’une image d’entraînement à la fois, puis évalué la différence entre le résultat généré et celui obtenu sans cette image, ce qui leur a permis de définir un « rayon contrefactuel » qui diminue à mesure que la taille du corpus augmente, jusqu’à disparaître pour quatorze images sur un ensemble de 3 731 extraites de MNIST, une base de 70 000 chiffres manuscrits de 0 à 9. Ce phénomène, que les chercheurs désignent sous le nom d’« attribution decay », se retrouve également pour des images de visages humains et des œuvres d’artistes. Le rayon suit une loi de puissance inverse (R² 0,85, p < 10⁻⁵), tendance confirmée par un réentraînement complet (p < 10⁻⁴), et la probabilité de relier une image générée à son auteur d’origine diminue fortement (p < 10⁻²²). Une méthode d’ablation permet de visualiser, pour un modèle entraîné sur des œuvres du domaine public de 744 artistes, les images qui auraient été produites si l’un d’eux avait été omis, sans devoir entraîner 744 modèles distincts. Les chercheurs précisent que doubler le nombre de photos d’entraînement ne réduit pas proportionnellement la trace de chacune, la diminution étant bien plus rapide.

Des jeux d’entraînement bien plus vastes dans l’industrie

Selon les chercheurs du MIT, une fois qu’un certain seuil de volume de données d’entraînement est franchi, il n’est plus possible d’attribuer rétrospectivement une œuvre. Zheng Dai précise que Stability AI, Midjourney et OpenAI exploitent des ensembles de données dont la taille dépasse de plusieurs ordres de grandeur ceux utilisés lors des expériences en laboratoire, ce qui rend la possibilité de remonter à l’origine d’une image encore plus faible. Cette observation, avancée par le MIT, remet en cause les arguments invoqués par des artistes dans les litiges engagés contre ces sociétés.

C2PA : des empreintes adoptées par Microsoft, Adobe, Google, OpenAI et Meta

Microsoft, Adobe, Google, OpenAI et Meta ont décidé d’apposer un marquage sur chaque image générée dès sa création dans le cadre de l’alliance C2PA. Microsoft intègre à chaque image issue de Paint un identifiant de seize octets, qui est à la fois inséré dans les pixels grâce à la technologie InvisMark et enregistré dans un manifeste de métadonnées signé de manière cryptographique. Meta a élaboré sa propre solution, Content Seal, tandis qu’OpenAI a opté pour SynthID, développé par Google.