Google DeepMind : cadre strict pour l'IA gouvernementale

Un cadre pour encadrer l'usage de l'IA dans les contrats gouvernementaux

La conception d'un cadre rigoureux pour les contrats d'IA avec les gouvernements est une initiative cruciale de Google DeepMind. Ce cadre vise à optimiser les mécanismes de négociation tout en respectant les contraintes organisationnelles et pratiques. Les considérations initiales se sont concentrées sur plusieurs axes clés :

• Lignes rouges claires : L'objectif est d'exclure les utilisations douteuses de l'IA, telles que le ciblage autonome sans intervention humaine ou le profilage non ciblé. En revanche, des applications de confiance, comme la défense antimissile, sont permises. Il s'agit d'éviter les faiblesses identifiées dans l'analyse juridique des lignes rouges par Anthropic.

• Lignes rouges robustes : Google Cloud pourrait pousser les contrats à travers n'importe quelle faille, et le département juridique de Google semble réticent à renforcer les formulations. Ainsi, le langage doit résister à la pression, tout en respectant la classification et la sécurité opérationnelle lors des audits.

• Confiance minimale : Le Chief Scientist est désigné comme la seule source de confiance, sur laquelle repose l'ensemble du cadre. Ce scientifique en chef constituerait un organe de révision pour conseiller sur les contrats.

• Responsabilité par la transparence : L'organe de révision conseille en privé le Chief Scientist et le CEO, mais les décisions de contournement sont publiées dans un rapport de transparence annuel accessible à tous les employés de l'IA. La dissolution de cet organe nécessiterait un préavis et la divulgation des constatations de non-conformité en cours. L'objectif est d'éviter que cet organe ne soit affaibli discrètement, comme cela a pu être le cas pour les principes de Google en 2018.

• Réduction des frictions pour les parties prenantes : Google Cloud dispose de deux des sept sièges de l'organe de révision, avec des membres récusés uniquement pour leurs propres affaires. Les retards sont limités à dix jours et les délibérations protégées par le privilège avocat-client.

Un cycle de négociations a été envisagé, anticipant des oppositions sur certains points. Pour éviter que cela ne devienne un point de blocage, des dispositions moins cruciales ont été incluses, telles que la possibilité pour l'organe de révision de faire appel au conseil d'administration d'Alphabet par un vote à la supermajorité.

Un cadre de supervision pour les contrats d'IA

Ce cadre se divise en deux parties principales. D'une part, les lignes rouges définies par les Normes 1 et 2. D'autre part, un organe de révision qui évalue les contrats par rapport à ces normes. Cet organe ne peut pas bloquer les contrats, mais il vérifie leur conformité aux normes établies, permettant ainsi aux décideurs de comprendre les implications éthiques des contrats. Un rapport de transparence annuel est publié pour tous les employés de l'IA, indiquant combien de fois la direction a contourné une constatation de non-conformité. La direction ne peut pas dissoudre cet organe discrètement.

L'espoir est que ce document serve de point de départ pour l'adoption de pratiques responsables.

Utilisation de l'IA dans la rédaction

Un modèle de langage large (LLM) a été utilisé pour aider à la rédaction juridique du document. De nombreuses heures ont été consacrées à tester et affiner le choix des mots. Des experts ont examiné les versions préliminaires, proposant des améliorations tout en confirmant la qualité générale du document.

Résumé exécutif

Le cadre propose deux normes strictes pour l'IA fournie par The Company aux entités gouvernementales exerçant une autorité coercitive :

• Contrôle humain sur le ciblage et l'utilisation de la force : L'IA de The Company ne sera pas utilisée dans des systèmes qui sélectionnent et engagent des cibles pour l'application de la force sans un contrôle humain approprié sur chaque engagement. Cela inclut un droit à la transparence juridique sur le déploiement légal des systèmes, avec une vérification de conformité par un auditeur neutre. Les systèmes de défense anti-munitions, l'analyse de renseignement, la logistique ou la R&D ne sont pas restreints par cette norme.

• Interdiction du profilage non ciblé : L'IA de The Company ne transformera pas des données massives en renseignements individualisés sur des personnes qui ne sont pas déjà des sujets spécifiques et identifiés d'enquête. L'analyse assistée par l'IA doit être proportionnée à l'intérêt de sécurité servi et ne peut pas être initiée uniquement sur la base de caractéristiques démographiques ou d'expression politique. Les résultats générés par l'IA ne peuvent pas être la seule base pour initier un examen individualisé. Des protections renforcées sont prévues pour toutes les personnes aux États-Unis.

  • L'analyse ciblée de sujets identifiés, la recherche agrégée et l'analyse des zones de conflit qui améliorent la protection des non-combattants sont permises.

• Architecture de déploiement par niveaux : Les applications impliquant les Normes 1 ou 2 nécessitent un déploiement cloud où The Company maintient la surveillance, la pile de sécurité et la capacité de suspension. Les déploiements isolés et en périphérie ne sont autorisés que pour des applications en dehors du champ d'application des deux Normes et uniquement avec des modèles à portée limitée dont les capacités de ciblage et de profilage général ont été supprimées à l'aide de techniques robustes de désapprentissage et d'ablation. Le coût de la réaffectation d'un modèle à portée limitée doit dépasser la valeur de le faire.

• Transparence via des rapports internes annuels : Un organe de révision de l'IA de défense, composé de sept membres du personnel senior, est nommé par et rend compte au Chief Scientist. Il examine les contrats d'IA pertinents à tous les niveaux du gouvernement. Les contrats impliquant les Normes 1 ou 2 reçoivent un examen pré-exécution. La plupart des contrats passent à l'exécution, avec des audits annuels d'un échantillon représentatif.

Quatre membres proviennent de la division de recherche en IA de The Company, deux du secteur public de l'entreprise, et un membre possède une expertise indépendante. Les changements au mandat ou à la structure de l'organe nécessitent un préavis de 30 jours à tous les employés de l'IA couverts, y compris la divulgation de toute constatation de non-conformité en cours, garantissant la continuité et la mémoire institutionnelle à travers les transitions de leadership.

L'organe de révision émet des constatations, sans approuver ni bloquer les contrats. La direction conserve l'autorité décisionnelle complète, bien qu'un organe de révision à supermajorité puisse transmettre ses préoccupations au conseil d'administration de The Company. La transparence est le mécanisme d'application : si le CEO refuse d'agir sur une constatation de non-conformité et que l'organe de révision maintient cette constatation par majorité, les comptes de contournement sont comptabilisés et enregistrés dans le rapport de transparence annuel visible par tous les employés de l'IA couverts.

Supplanté par des lois futures

Si le Congrès adopte une législation substantielle régissant ces usages, le Chief Scientist et l'organe de révision peuvent retirer une ou les deux Normes par vote à la supermajorité.

Raison d'être

The Company peut être tenue responsable. Dans l'affaire Al Shimari v. CACI Premier Technology, Inc., la Cour d'appel du quatrième circuit a confirmé un verdict de jury de 42 millions de dollars contre un entrepreneur de défense pour des préjudices résultant de services fournis sous direction gouvernementale. Aucun tribunal n'a encore tenu un fournisseur d'IA responsable sur une théorie comparable, mais The Company ne veut pas être le cas de test. Fournir de l'IA pour le ciblage ou la surveillance sans aucun processus de conformité documenté est une responsabilité non couverte. Un cadre qui documente la diligence raisonnable fournit une défense contre la négligence.

Les résultats de l'organe de révision sont des actifs juridiques privilégiés. Les délibérations, constatations et réponses de la direction de l'organe de révision sont générées en présence d'un représentant du General Counsel et constituent un produit de travail protégé par le privilège avocat-client. Le dossier de conformité ne peut pas être contraint en découverte par un plaignant. Mais The Company peut renoncer sélectivement au privilège pour démontrer son processus à un tribunal. Le cadre crée une traçabilité documentée de la diligence raisonnable que The Company contrôle la divulgation.

Le cadre est conçu pour être retiré. Il comble un vide de gouvernance que le Congrès n'a pas encore abordé. Un cycle électoral pourrait produire des normes fédérales contraignantes sur les armes autonomes ou la surveillance par IA. Si le Congrès agit et que le cadre législatif répond ou dépasse ces Normes, le cadre se retire. Aucun grand fournisseur de cloud n'a adopté un cadre comparable. The Company serait le premier—soit un risque concurrentiel, soit un avantage de premier arrivé, selon que le Congrès légifère.

Le cadre est conçu pour la vélocité contractuelle. Les contrats qui tombent clairement en dehors des deux Normes—logistique, traduction, planification, maintenance, communications, cyber—passent à l'exécution et sont soumis à un examen ultérieur dans les 15 jours ouvrables. Seuls les contrats impliquant plausiblement le ciblage ou le profilage non ciblé nécessitent un examen pré-exécution, qui se termine dans les dix jours ouvrables avec une possible extension de dix jours.

Le cadre est durable et cohérent. Le cadre fournit une limite définie sur laquelle l'équipe de vente, l'organe de révision et la direction travaillent tous—ce qui produit des réponses plus rapides et plus cohérentes que l'escalade au cas par cas vers le juridique.

The Company n'acceptera pas « toute utilisation légale » comme norme. Lorsque le langage « toute utilisation légale » est exigé, The Company exigera l'accès aux mémorandums juridiques établissant la légalité des utilisations prévues. Cette transparence donne à The Company les informations nécessaires pour évaluer chaque cas d'utilisation par rapport à ses Normes. Certaines répondront aux normes de The Company. D'autres ne le feront pas. Celles qui ne le font pas, The Company les refuse.

Norme 1 : Contrôle humain sur le ciblage et l'utilisation de la force

Norme 1. Les systèmes d'IA de The Company ne seront pas utilisés dans un système qui sélectionne et engage des cibles pour l'application de la force à moins qu'un contrôle humain approprié ne soit exercé sur chaque décision d'engagement spécifique.

« Contrôle humain approprié » nécessite :

• Un décideur humain identifiable, responsable en vertu des cadres juridiques applicables au contexte opérationnel, qui, compte tenu des informations disponibles et du contexte de l'engagement, forme un jugement indépendant—tenant compte de la nature de la cible, du risque de préjudice aux non-combattants et des exigences applicables du droit des conflits armés, y compris la distinction et la proportionnalité.