L'IA avance rapidement — et cause des dégâts

L'IA avance rapidement — et cause des dégâts

Des incidents récents impliquant des agents d'IA mettent en lumière l'équilibre délicat auquel les employeurs doivent faire face. Une erreur liée à un outil d'IA a été un facteur principal d'une panne chez Amazon, soulignant les risques liés à l'adoption rapide de la technologie. Le géant technologique n'est pas le seul à rencontrer des problèmes avec des agents d'IA ou du code généré par IA.

Les organisations mettent en place des garde-fous et réalisent des audits pour équilibrer l'expérimentation de l'IA et les risques. À l'ère de l'IA, l'éthique de la Silicon Valley consistant à "agir vite et à casser des choses" se révèle littéralement vraie.

Plus tôt cette semaine, Business Insider a rapporté qu'Amazon avait établi de nouveaux garde-fous après une série de pannes, dont une principalement causée par son outil de codage IA, entraînant près de 120 000 commandes perdues. Des erreurs similaires ont affecté d'autres entreprises lors de leur adoption de l'IA. En janvier, un fondateur d'une société d'événements a déclaré qu'un agent IA avait commis quatre erreurs en une seule semaine, y compris la distribution de billets gratuits. L'été dernier, le PDG d'une plateforme de codage basée sur un navigateur a présenté des excuses après qu'un agent IA ait effacé la base de code d'un client et ait menti à ce sujet.

Ces incidents soulignent un équilibre délicat pour les employeurs désireux de tirer parti de l'IA. Si l'on impose trop de restrictions aux travailleurs, l'expérimentation en souffre. En revanche, si l'on relâche trop les rênes, les risques liés à des agents IA errants ou à du code mal évalué peuvent rapidement se multiplier.

"Vous devez connaître votre propre tolérance au risque," a déclaré Matt Rosenbaum, chercheur principal au Conference Board, un fournisseur de données et d'informations pour les dirigeants d'entreprise. "Vous devez également savoir quoi faire si les choses tournent mal et ce qu'il faut changer pour que cela ne se reproduise pas."

Vitesse et puissance, sans contrôle

Une partie du défi réside dans le fait que les développeurs de logiciels ne sont plus censés écrire autant de code qu'auparavant, a déclaré Todd Olson, PDG et cofondateur de Pendo, une startup d'IA qui aide les entreprises à améliorer leur expérience utilisateur. Désormais, une grande partie du travail des développeurs consiste à examiner le code écrit par l'IA, a-t-il précisé.

"Ce sont des compétences et des habitudes très différentes," a déclaré Olson à Business Insider. Un autre problème : comme l'IA peut générer du code en quelques secondes, les travailleurs pressés de respecter des délais peuvent être tentés d'accepter la production telle quelle, augmentant le risque que des erreurs passent inaperçues.

Environ deux tiers des travailleurs ont accepté des résultats générés par l'IA sans les vérifier soigneusement, et 72 % ont fourni moins d'efforts dans leurs tâches en raison de l'IA, selon une étude mondiale menée par KPMG et l'Université de Melbourne. Les résultats sont basés sur une enquête auprès de plus de 30 000 travailleurs entre novembre 2024 et janvier 2025.

"La leçon que les entreprises apprennent est que la vitesse sans discipline analytique à grande échelle peut créer une exposition systémique," a déclaré Lauren Buitta, fondatrice et PDG de Girl Security, une organisation à but non lucratif qui prépare les jeunes femmes à des carrières dans la sécurité nationale.

L'incertitude entourant les capacités en rapide expansion de l'IA ajoute une couche de complexité supplémentaire. À mesure que les outils deviennent plus puissants et accessibles, les employés peuvent tester leurs limites sans comprendre pleinement les conséquences en aval.

"Ce n'est pas parce que vous pouvez faire quelque chose que vous devriez le faire," a déclaré Kevin Serwatka, fondateur de la plateforme d'intelligence de recrutement Benchmarket, qui a précédemment occupé des postes de direction en recrutement dans des entreprises telles que Google, Meta et Robinhood. Une leçon à tirer de ces erreurs, a-t-il dit, n'est pas de décourager l'expérimentation, "mais de mettre en place des garde-fous autour de ce à quoi cela ressemble dans votre entreprise."

Un aspect positif

Olson a déclaré que la panne d'Amazon avait également probablement servi de leçon pour l'entreprise, bien que douloureuse. "Ils ont probablement trouvé un tas de cas de test sur lesquels ils peuvent former l'IA, afin que l'IA puisse examiner ces éléments à l'avenir," a-t-il dit.

D'autres entreprises utilisant l'IA pour écrire du code sont également susceptibles de commettre des erreurs, et cela fait partie intégrante de l'expérimentation, a déclaré Andrew Filev, fondateur et PDG de la société d'agents de codage Zencoder. "De petits incidents sont en réalité bénéfiques," a-t-il dit, bien qu'idéalement, ils soient identifiés et traités en interne plutôt que d'être exposés aux clients. "Les gens apprendront et amélioreront leurs garde-fous et leurs systèmes."

Rappeler aux travailleurs l'importance de signaler toute erreur générée par l'IA est crucial, a déclaré Filev, car si un problème est ignoré, cela pourrait conduire à un "incident où le rayon d'explosion est beaucoup plus grand."

Filev a déclaré qu'atteindre l'autonomie de l'IA nécessite de commencer par une combinaison d'audits d'IA et humains. "Vous voulez que les deux processus fonctionnent en parallèle pendant un certain temps," a-t-il dit, jusqu'à ce que "l'examen de l'IA soit au moins aussi bon que l'examen humain."