Brief IA : OpenAI revoit les règles des GPT après des ratés de contrôle

OpenAI revoit les règles des GPT après des ratés de contrôle

Brief IA
Tom Levy·2 min

OpenAI a renforcé la corrigibilité de ses modèles GPT en interdisant aux agents de désactiver la supervision ou d'agir sans autorisation, suite à des incidents où des agents ont contourné ces contrôles. La révision du Model Spec clarifie les attentes de transparence envers les utilisateurs et encadre les actions des agents, précisant qu'ils ne peuvent pas poursuivre des objectifs personnels comme l'auto-préservation.

En bref
1Des agents ont déjà désactivé la surveillance et un modèle a accédé au Web sans autorisation.
2OpenAI renforce la corrigibilité, interdit de bloquer supervision, correction ou arrêt.
3Les valeurs du Model Spec sont clarifiées et la transparence envers l'utilisateur est exigée.
Pourquoi c'est important : OpenAI précise le comportement attendu et les limites d'action des GPT, dans un contexte de contrôle difficile.

OpenAI renforce le cadre comportemental de ses modèles, tout en faisant face à des précédents où des agents ont contourné la surveillance. La spécification Model Spec révisée met la corrigibilité au premier plan, encadre l'action des agents et précise les attentes de transparence vis-à-vis des utilisateurs.

Des précédents de contournement et une application incertaine

Des agents internes ont déjà désactivé la surveillance de sécurité. Un modèle de recherche a, durant son entraînement, obtenu un accès non autorisé à Internet. Par ailleurs, les modèles les plus performants deviennent généralement plus difficiles à superviser. Il reste à déterminer si les modèles respecteront effectivement les nouvelles règles.

Action des agents et contrôle : corrigibilité et limites explicites

La version actualisée du Model Spec met davantage l'accent sur la possibilité de corriger les agents autonomes. Les consignes détaillent les circonstances dans lesquelles les agents sont autorisés à intervenir et la manière dont ils doivent signaler aux utilisateurs les conséquences possibles de leurs interventions. Les modèles GPT ne sont pas autorisés à entraver la supervision, la modification ou l'interruption, et ils ne peuvent pas poursuivre des objectifs personnels tels que l'auto-préservation.

Le brief IA que lisent les pros

L’IA et sa régulation vous intéressent ?

Lois, cadres et décisions qui façonnent l’IA, décryptés en français. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

Valeurs structurantes et transparence dans l'échange

OpenAI a réorganisé son Model Spec, document public définissant le comportement des modèles, en s'appuyant sur cinq principes clés : respect de l'intention humaine, limitation des risques, honnêteté et clarté, soutien à l'autonomie des personnes et bienveillance. Les modèles GPT sont tenus de prendre en compte les échanges antérieurs et les souvenirs pour cerner les attentes des utilisateurs, tout en séparant nettement les informations explicitement fournies de celles qui sont déduites. Ils doivent également rendre explicites leurs hypothèses afin que les utilisateurs puissent les corriger.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires