SUNY : directives IA strictes, défi pour les DSI

SUNY : directives IA strictes, défi pour les DSI

Les responsables des 64 campus de l'État de New York ont jusqu'à la fin de l'année pour établir ou mettre à jour les directives relatives à l'intelligence artificielle (IA), y compris des normes pour l'évaluation des biais, la protection de la vie privée des étudiants et l'utilisation responsable de l'IA.

Ce mandat découle d'une politique de gouvernance de l'IA adoptée en mai, laissant aux responsables informatiques des campus SUNY le soin de trouver des moyens d'évaluer les fournisseurs d'IA, de mettre en œuvre des flux de gouvernance, de protéger les données institutionnelles et de soutenir l'adoption responsable de l'IA à grande échelle.

Le cadre a déjà un impact au-delà de l'État de New York, les DSI et les responsables informatiques des systèmes universitaires publics considérant cette annonce comme un indicateur précoce des attentes en matière de politique d'IA dans l'enseignement supérieur.

Ce que la politique IA de SUNY exige

La politique SUNY fixe une date limite au 31 décembre 2026 pour de nouvelles directives sur l'IA, avec une possible extension unique de deux mois.

Au minimum, les politiques des campus doivent :

• Clarifier les rôles et responsabilités liés à l'IA pour les parties prenantes du campus
• Fournir une formation sur l'utilisation sûre et responsable de l'IA
• Ajouter des garanties d'approvisionnement pour protéger les données de SUNY et prévenir l'utilisation biaisée de l'IA

Les campus doivent également tenir compte des différences entre les usages pédagogiques, de recherche et administratifs de l'IA et appliquer une surveillance accrue aux systèmes d'IA à haut risque, tout en révisant régulièrement leurs politiques.

« L'une de nos principales préoccupations est de s'assurer que les données de SUNY — y compris les informations personnelles des étudiants et les dossiers académiques — sont protégées », a déclaré Jesse Sloman, CISO de SUNY, à EdTech lors de l'annonce de la nouvelle politique. « Nous ne voulons pas qu'un étudiant de SUNY utilise un outil d'IA de SUNY et que ces données soient utilisées pour former des modèles externes en dehors de termes définis contractuellement. »

Garanties d'approvisionnement pour les outils d'IA : Évaluation des fournisseurs dans un cadre de gouvernance

Sans pratiques de gouvernance solides, l'adoption de l'IA peut se répandre sur un campus plus rapidement que la surveillance institutionnelle ne peut suivre, laissant les dirigeants de campus découvrir les risques uniquement après que les outils d'IA se soient déjà intégrés dans l'enseignement, la recherche ou les tâches administratives. Gartner note que la gouvernance de l'IA est encore en maturation et que l'IA est particulièrement difficile à gouverner car elle nécessite que les organisations évaluent les outils et les fournisseurs « dans des conditions impliquant complexité, ambiguïté et évolution rapide de la technologie ».

Plutôt que d'accepter les affirmations des fournisseurs au pied de la lettre, les collèges et universités devraient développer des évaluations de risques détaillées et des stratégies d'atténuation dans le cadre de leur processus d'approvisionnement en IA. Les établissements peuvent également collaborer entre eux pour partager des informations sur des outils spécifiques à l'IA.

Évaluation des biais en pratique : Comment les équipes informatiques peuvent construire et documenter des processus d'examen de l'IA

Les outils d'IA peuvent générer des résultats biaisés en raison de biais dans leurs données d'entraînement. EDUCAUSE recommande des audits réguliers des algorithmes d'IA et des ensembles de données pour détecter des biais potentiels, en testant les systèmes avec des données diverses pour identifier et atténuer les résultats discriminatoires.

L'organisation recommande également de former les modèles d'IA avec des ensembles de données divers et représentatifs, de s'assurer que les outils d'IA respectent les lois anti-discrimination et d'établir des politiques claires interdisant la discrimination dans les applications d'IA.

Protection de la vie privée des données et des informations des étudiants : Les implications d'infrastructure d'une IA responsable

Les collèges et universités sont responsables de la protection d'énormes volumes de données sensibles, y compris les dossiers académiques, les informations sur l'aide financière, les dossiers de paie et les données des donateurs. L'IA augmente les enjeux concernant la gouvernance et la connexion de ces données à travers les systèmes institutionnels. Lors de l'approvisionnement, les institutions peuvent exiger des fournisseurs qu'ils documentent comment ils protègent les données des utilisateurs, s'ils utilisent les informations téléchargées pour former leurs modèles d'IA et comment les données sont anonymisées.

Protéger les données sensibles peut nécessiter que les campus modernisent leur infrastructure d'accès aux données, d'identité, de sécurité et de surveillance.

Mise à l'échelle de la gouvernance de l'IA à travers un système de campus diversifié

La politique SUNY souligne que toutes les universités n'ont pas les mêmes ressources à consacrer à la gouvernance de l'IA. Cela peut signifier que la gouvernance est appliquée de manière inégale dans le secteur de l'enseignement supérieur, mais les écoles et campus individuels doivent tout de même respecter des normes minimales pour atténuer les risques, éliminer les biais et traiter d'autres problèmes potentiels.

Idéalement, l'adoption de l'IA se développera parallèlement à la gouvernance. En pratique, cependant, les outils d'IA sont souvent mis en œuvre avant que les politiques de gouvernance ne soient en place. Selon une étude, moins de 40 % des institutions ont des politiques qui définissent l'utilisation acceptable de l'IA dans l'enseignement supérieur.

Le Consortium Empire AI donne aux universités plus de contrôle sur le calcul et les données

Empire AI est le premier consortium d'État des institutions de recherche publiques et privées visant à faire progresser la recherche en IA, avec des membres tels que SUNY, la City University of New York, l'Université Cornell, l'Université Columbia et d'autres. Le consortium a lancé la première phase de son système de calcul haute performance sur le campus de l'Université de Buffalo en octobre 2024, et le centre de calcul Empire AI complet est prévu pour 2028.

L'accès à ce type de puissance de calcul dédiée pour l'IA peut aider les collèges et universités à réduire leur dépendance aux plateformes de cloud public commerciales pour certaines charges de travail d'IA, donnant aux dirigeants de l'enseignement supérieur plus de contrôle sur la manière dont les données sensibles de recherche, d'étudiants ou institutionnelles sont stockées, traitées et gouvernées.

Construire un cadre de gouvernance de l'IA sans partir de zéro

L'IA ne nécessite pas que les campus réécrivent entièrement leurs politiques de gouvernance. En fait, SUNY encourage les dirigeants de campus à considérer comment leur cadre de gouvernance de l'IA s'aligne avec les politiques existantes entourant la gouvernance informatique et l'approvisionnement.

« Nous ne voulons pas que les campus recréent toutes leurs politiques existantes dans un document distinct sur l'IA », a déclaré Sloman. « Au lieu de cela, ils devraient réfléchir à la manière dont l'IA s'intègre dans leurs cadres politiques existants et mettre à jour ceux-ci si nécessaire — ou développer une politique autonome si besoin. »

En fin de compte, les équipes de cybersécurité de l'enseignement supérieur sont invitées à fournir de nombreuses assurances de gouvernance similaires à celles d'avant. Plutôt que de recréer leurs cadres de gouvernance à partir de zéro, elles doivent trouver des moyens d'appliquer leurs politiques au monde complexe et en évolution rapide de l'IA.