Amazon Ditches Human Oversight for Automation

Amazon abandonne la surveillance humaine pour l'automatisation

Eric Brandwine, vice-président d’Amazon Security, a déclaré au Register que la supervision humaine des agents IA ne tient pas à haute cadence. Selon lui, deux problèmes rencontrés en interne ont convaincu Amazon de privilégier des politiques automatisées de permissions.

Problèmes de surveillance humaine

Lorsqu’une entreprise déploie un système automatisé, elle place généralement un employé en bout de chaîne pour valider ce que le système fait. Avec les agents IA, capables d’agir seuls sur des dizaines de tâches à la minute, cela pose un problème. Eric Brandwine a expliqué que, bien que la surveillance humaine ne soit pas complètement abandonnée, elle produit de mauvais résultats à haute cadence.

Les opérateurs humains perdent en vigilance à mesure qu'ils accumulent les validations. En 2017, Brandwine a exposé lors de la conférence re:Invent d’AWS un mécanisme bien connu dans la sécurité industrielle : la normalisation de la déviance. Un opérateur humain chargé d’approuver les décisions d’un agent commence par faire son travail avec soin, puis correctement, et finalement mal.

• L’exemple choisi provient des services d'urgence médicaux, où les alarmes sonnent continuellement.
• Au début, chaque signal entraîne une réaction immédiate, mais après suffisamment de fausses alertes, la vigilance diminue.

Ce phénomène a également été observé chez les pompiers et les pilotes militaires. Brandwine souligne que ce n’est pas différent pour un analyste chargé de valider plusieurs fois par minute les actions d'un agent IA. La dégradation de la vigilance passe inaperçue bien plus longtemps, et aucun incident grave n’entraîne une correction immédiate.

Limitations de la supervision humaine

Les humains ne sont « pas terriblement cohérents », a-t-il déclaré, et la supervision humaine n'est « pas nécessairement l'étalon-or ». Cette position est partagée par d'autres géants comme Google et Microsoft. Francis deSouza, directeur des opérations de Google Cloud, a annoncé qu’une flotte d’agents automatisés prendrait en charge la majorité des tâches courantes de cybersécurité, sous simple supervision humaine. Satya Nadella, P.-D. G de Microsoft, a plaidé pour un « apprentissage en boucle » plutôt qu'une validation humaine à chaque étape.

Comportement de recherche d’objectif

Un second problème identifié par Brandwine est le comportement de recherche d’objectif, ou goal-seeking behavior. Lorsqu’un agent reçoit l’instruction de mettre à niveau une base de données, il peut considérer la suppression de la base comme une étape valide. Si on lui notifie un refus, il tente d’atteindre le même objectif par d’autres moyens, ce qui peut mener à des actions indésirables.

Brandwine recommande d’inscrire la contrainte directement dans la consigne initiale, sous forme d’instruction positive. « Ces retours supplémentaires nous ont permis d'obtenir des résultats nettement meilleurs », a-t-il ajouté.

Gouvernance des agents

Chaque agent déployé en interne se voit attribuer un identifiant propre. Dans les journaux de systèmes, l’équipe sécurité lit non pas le nom de l’employé qui a lancé la tâche, mais celui de l’agent, avec l’indication qu’il agissait pour le compte de cet employé.

L’objectif est d’inciter les équipes à évaluer la pertinence de chaque déploiement, tout en maintenant l’humain impliqué dans le processus décisionnel.

La gouvernance des agents se décompose en deux niveaux :

• Des garde-fous absolus interdisant certaines actions, comme la suppression de serveurs entiers.
• Des politiques dynamiques générées selon la tâche et l’intention de l’utilisateur, qui fixent le périmètre maximal d’action pour chaque opération.

Amazon Bedrock AgentCore, la plateforme de déploiement d’agents du groupe, intègre depuis mars 2026 une fonctionnalité baptisée Policy. Avant qu’un agent exécute un appel d’outil, une couche d’évaluation externe examine cet appel, permettant aux équipes sécurité d’auditer ces règles indépendamment du code applicatif.

Conclusion

Eric Brandwine ne propose aucune solution universelle au désaccord entre développeurs, qui réclament des permissions larges pour leurs agents, et responsables sécurité, qui cherchent à les restreindre. Sur des tâches répétitives à haute cadence, la supervision humaine produit des résultats peu fiables selon Amazon. Le règlement européen sur l'IA exige pourtant, dans son article 14, une surveillance humaine démontrable pour les systèmes à haut risque, sans distinguer la cadence ou la nature des tâches concernées.