Shein et IA : faux influenceurs noirs trompent TikTok

Des avatars IA pour vendre des produits Shein

Aliyah, une femme noire à la peau claire, apparaît dans une vidéo TikTok en mars, vêtue dans un style country-western. Elle tente désespérément de vendre des boucles de ceinture qu'elle prétend avoir fabriquées à la main. En larmes, elle implore les spectateurs de regarder sa vidéo, espérant que même les femmes blanches resteront 13 secondes pour sauver son entreprise. Cependant, Aliyah n'est pas réelle. Elle est une création d'intelligence artificielle, utilisée pour promouvoir des produits fabriqués en masse via le dropshipping sur des plateformes comme TikTok, Facebook et Instagram. Les mêmes boucles de ceinture sont disponibles sur le site de fast-fashion Shein, à un quart du prix affiché par Aliyah.

Les signes révélateurs de l'origine numérique de ces vidéos sont nombreux. La voix d'Aliyah est robotique et dénuée d'émotion, contrastant avec son visage en larmes. Dans une séquence, elle coud une ceinture en cuir à un endroit où il ne devrait pas y avoir de couture. Lorsqu'elle essuie une larme, le liquide disparaît sous son doigt. De plus, des dizaines de vidéos similaires, mettant en scène différents personnages générés par l'IA, circulent sur TikTok. Un compte nommé "Aliyahsbuckles" présente des vidéos avec le même arrière-plan, la même table et la même bobine de fil.

Une prolifération de faux comptes

The Verge a découvert de nombreux comptes sur TikTok partageant des récits similaires et vendant divers produits en dropshipping, tels que des boucles de ceinture, des mugs en forme de bottes de cowboy, des sacs au crochet et des cardigans. Certains de ces comptes sont étiquetés comme générés par l'IA. Des comptes similaires sont également actifs sur Instagram et Facebook. Presque tous les aspects de ces comptes semblent être générés par l'IA, de la "personne" dans la vidéo aux réponses automatisées aux commentaires, qui imitent parfois le vernaculaire afro-américain. Les experts avertissent que ce type d'escroquerie se développe chaque jour.

Jeremy Carrasco, chercheur sur les médias générés par l'IA et directeur de Riddance.ai, une organisation axée sur la détection de vidéos IA, a déclaré à The Verge que les vidéos générées par l'IA liées aux magasins de commerce électronique sont un phénomène massif. "La plupart d'entre elles ne sont pas coordonnées. Certaines le sont. Souvent, ils feront fonctionner un seul acteur [généré par l'IA], ou quelques acteurs géreront toutes sortes de boutiques", a-t-il expliqué. Ces avatars générés par l'IA prétendent fabriquer les articles, se rendre à des foires pour exposer leurs produits, et "répondre" aux commentaires par le biais de l'automatisation. "Ce que nous voyons en ce moment, ce sont ces escroqueries de détail où ils se lient à des sites Shopify."

Carrasco estime que son équipe de recherche trouve jusqu'à 100 comptes qui tentent de vendre des produits via des avatars générés par l'IA chaque jour. La plupart des comptes trouvés par The Verge ont été créés au cours des deux derniers mois et contiennent des vidéos sur de petites entreprises appartenant à des individus marginalisés qui peinent à réaliser des ventes ; ces vidéos sont incroyablement similaires, avec seulement de légères variations dans leurs scripts. Bien que nous ayons également trouvé des personnages amérindiens, hispaniques et blancs, les personnages générés par l'IA les plus vus et les plus engagés trouvés par The Verge sont des femmes noires. Le compte d'Aliyah à lui seul compte 40 000 abonnés.

Manipulation de l'empathie

"Ce que nous voyons ici, c'est de l'empathie manipulée", a déclaré Carrasco. "S'il y a un article de dropshipping populaire qui pourrait être vendu à une sorte de communauté de niche, ils le trouveront et essaieront [d'utiliser] une personnalité pour le faire." Carrasco explique que ces tendances sont généralement des opportunités aléatoires de gagner de l'argent. "C'est juste une opportunité arbitraire, ce qui est le cas pour beaucoup de contenu généré par l'IA — les plateformes ne se soucient pas vraiment et les gens ne remarquent pas."

La vidéo la plus populaire d'Aliyah, celle décrite au début de cet article, a 814 000 likes, 6,5 millions de vues, et presque 30 000 commentaires. Certains commentaires identifient le contenu comme étant généré par l'IA, mais beaucoup expriment le désir d'aider l'entreprise d'Aliyah, commentant la vidéo pour augmenter sa visibilité sur la plateforme. India Cater-Campbell était l'une de ces commentatrices, exprimant son désir d'acheter les boucles de ceinture d'Aliyah. "J'essayais de soutenir une femme d'affaires noire indépendante", a déclaré Cater-Campbell, une véritable propriétaire d'entreprise travaillant à l'ouverture d'un café à Seattle. "[Je ressentais] de la solidarité alors que j'essaie de démarrer une entreprise moi-même."

Malgré un manque d'études sur les derniers modèles de vidéos générées par l'IA, Carrasco estime que ces vidéos sont "suffisamment réalistes pour tromper" la plupart des gens. Les utilisateurs de plateformes de contenu vidéo court ont été formés à faire défiler sans réfléchir et à ne pas approfondir le contenu qu'ils créent. Ironiquement, c'est ce qui a peut-être sauvé Cater-Campbell d'acheter réellement une boucle de ceinture : elle n'a pas trouvé immédiatement de lien vers une boutique, alors elle a fait défiler et a rapidement oublié Aliyah.

Des célébrités également dupées

Mais les gens tombent dans le piège de ces escroqueries, et leur prévalence augmente : il y a deux semaines, Gizelle Bryant de The Real Housewives of Potomac a admis avoir acheté deux sacs au crochet après avoir vu une vidéo dans laquelle un garçon noir généré par l'IA disait qu'il était harcelé par des garçons blancs pour avoir fait du crochet. "Je me suis dit, je veux aider ce petit garçon noir à atteindre son objectif", a déclaré Bryant sur son podcast Reasonably Shady, ajoutant que d'autres célébrités avaient également été dans la section des commentaires. "Comment ai-je été trompée ? Viola Davis était aussi là."

Le phénomène du blackface numérique

La tendance est une sorte de blackface numérique, selon la chercheuse en communication Cienna Davis de l'Université de Pennsylvanie. "Le blackface numérique est un phénomène où des individus non noirs peuvent utiliser Internet et les technologies numériques pour imiter l'expression culturelle noire à des fins personnelles, économiques ou politiques", a expliqué Davis lors d'un appel vidéo. Davis a déjà écrit sur le blackface numérique, en soulignant l'utilisation de gifs de personnes noires ainsi que l'imitation de personnes noires à des fins politiques. "C'est enraciné dans le minstrelisme du blackface, qui est lié à l'héritage de l'esclavage", a-t-elle expliqué.

Basé sur l'idée que la noirceur est "intrinsèquement exploitable" et "à saisir", le blackface numérique est utilisé pour "extraire de la valeur des corps noirs de la manière dont [les personnes non noires] le jugent approprié", a déclaré Davis. Dans ce cas, les vidéos imitent "une idée reconnaissable de la lutte noire", a-t-elle ajouté.

Même sans confirmation que les personnes derrière les vidéos ne sont pas noires, Tempest M. Henning, professeur adjoint de philosophie à l'Université Fisk, confirme que les vidéos sont du blackface numérique. "Le blackface est toute sorte de représentation caricaturale des personnes noires, ce qui peut inclure des personnes noires se déguisant de manière caricaturale en personnes noires", a déclaré Henning. Elle cite des précédents historiques de personnes noires étant parfois forcées de se produire dans des spectacles de minstrel et l'exemple plus récent de Zoe Saldaña qui a assombri son teint et porté des prothèses pour jouer le rôle de Nina Simone dans un biopic.

Il y a une fausse représentation inhérente à la noirceur que ces avatars prétendent revendiquer. Comme l'a expliqué Henning, "Les noms des avatars sont codés noirs, comme Aliyah ou Amaya, mais il n'y a rien d'autre [qui signale une authenticité noire] autre que l'avatar lui-même." Cela n'est renforcé que par la reproduction de contenu à travers des identités raciales, ce qui, selon Henning, entraîne un aplatissement de ces identités.

The Verge a contacté Aliyahsbuckles, ainsi que d'autres magasins vendant des produits similaires, mais n'a reçu aucune réponse.

Répétition de scénarios

Les vidéos publiées sur le compte d'Aliyah sont reproduites scène par scène à travers de nombreux comptes similaires vendant des articles en dropshipping, avec de légères modifications pour s'adapter à l'identité du personnage ou à l'article vendu. Dans une vidéo mettant en scène un autre personnage féminin noir, Amaya, une femme blanche jette de manière moqueuse du café sur des boucles de ceinture exposées lors d'une foire. Une Amaya légèrement frustrée — les émotions sont quelque peu robotiques et ne semblent jamais tout à fait justes — soupire et retourne au travail honnête de fabrication de ses boucles. Une scène similaire apparaît dans un compte appelé ChubbyKnots ; cette fois, l'avatar est une fille noire et le produit est un cardigan en crochet en forme de papillon.

Henning a déclaré qu'il y a un attrait pour le signalement de vertu dans ces vidéos, où le spectateur est appelé à faire preuve de gentillesse ou même de solidarité raciale ou de classe. "C'est un signalement de vertu dans le sens où 'Oh, cette dame blanche a fait ça, mais je ne suis pas ce genre de dame blanche, alors où puis-je acheter cette boucle de ceinture ?'" a déclaré Henning. "C'est comme s'ils disaient, 'Je ne me tiens pas avec ces gens.'"

Cependant, Henning a souligné la superficialité du soutien basé sur la race ou la classe lorsque les utilisateurs ne prennent pas le temps de rechercher qui ils soutiennent en premier lieu.

C'est peut-être un résultat social plus large du contenu vidéo court et de la consommation de contenu de faible qualité : la solidarité est souvent réalisée à un "niveau superficiel", a-t-elle expliqué, plutôt que par le biais d'un prisme politique cohérent et multifacette. "Je pourrais être très investi dans une entreprise appartenant à des Noirs, mais cela ne signifie pas nécessairement que toutes les entreprises noires s'alignent sur mes opinions politiques et ce que je défends", a déclaré Henning.

Cet appel au signalement de vertu va au-delà de la catégorie de la race, s'appuyant également sur des marqueurs de classe ouvrière et une simulation de personnes travaillant dur pour gagner leur vie dans une économie en déclin. "Ce n'est pas seulement la lutte noire, car dans les autres vidéos, nous pouvons observer la lutte de classe ouvrière, la lutte des petites entreprises", a déclaré Davis. "Mais cela utilise évidemment cette [narration] pour vendre des biens fabriqués en masse. Ce n'est pas du tout créatif. Ce sont vraiment juste des modèles générés par l'IA."