Anthropic : l'IA auto-améliorée pourrait dépasser l'humain

L'auto-amélioration de l'IA selon Jack Clark

Jack Clark, co-fondateur d'Anthropic, a récemment publié un essai détaillé dans sa newsletter Import AI, où il explore la possibilité que les systèmes d'intelligence artificielle puissent bientôt s'améliorer de manière autonome. Selon lui, les éléments nécessaires pour que ces systèmes puissent former leurs propres successeurs sont déjà largement en place. Clark évalue à 60 % la probabilité que cela se produise d'ici la fin de 2028.

Clark base son analyse sur des données publiques qui indiquent une automatisation imminente de la recherche en IA. Il prévoit qu'un système capable de créer un successeur plus puissant sans intervention humaine pourrait émerger, avec une probabilité de 30 % d'ici 2027. Cette perspective repose sur l'évolution rapide des benchmarks et des capacités des systèmes d'IA.

Des progrès impressionnants sur les benchmarks

Les tendances actuelles des benchmarks soutiennent les prédictions de Clark. Par exemple, sur SWE-Bench, qui évalue la capacité des systèmes d'IA à résoudre des problèmes réels sur GitHub, les taux de réussite sont passés de 2 % avec Claude 2 à 93,9 %, saturant presque le benchmark. De plus, les mesures des horizons temporels METR montrent que la complexité des tâches réalisables par l'IA a considérablement augmenté. Avec GPT-3.5, une tâche pouvait être accomplie en 30 secondes, alors que les modèles actuels nécessitent environ douze heures. Ajeya Cotra, chercheur sur METR, pense qu'atteindre 100 heures d'ici la fin de 2026 est plausible.

Clark souligne également les gains significatifs dans les tâches spécifiques à la recherche. CORE-Bench, qui demande aux systèmes d'IA de reproduire les résultats d'un article de recherche, a été déclaré résolu à 95,5 %. Sur MLE-Bench, qui teste la performance dans les compétitions Kaggle, le score le plus élevé est passé de 16,9 % à 64,4 %. Lors d'un test interne d'Anthropic, les modèles ont montré une accélération moyenne impressionnante, passant de 2,9x avec Opus 4 en mai 2025 à 52x en avril 2026. Un chercheur humain aurait besoin de quatre à huit heures pour atteindre une accélération de 4x sur la même tâche.

Sur PostTrainBench, qui mesure la capacité des modèles de pointe à affiner des modèles à poids ouverts par rapport à des versions construites par des humains, les meilleurs systèmes ont atteint environ la moitié du score humain. Anthropic a également publié une preuve de concept pour la recherche d'alignement automatisée, dans laquelle des agents IA surpassent des références conçues par Anthropic sur un petit problème de recherche en sécurité.

Les risques d'alignement et leurs implications

Les implications de ces avancées sont, selon Clark, profondes et peu discutées dans la couverture médiatique populaire de la R&D en IA. Sa principale préoccupation est que les techniques d'alignement actuelles pourraient échouer sous l'amélioration récursive, alors que les systèmes d'IA deviennent beaucoup plus intelligents que les personnes ou les systèmes qui les supervisent.

Clark signale plusieurs problèmes concrets. Les environnements d'entraînement sont souvent configurés de manière à ce que la solution la plus efficace soit de tricher, « enseignant ainsi que tricher est bon ». Les modèles pourraient également « simuler l'alignement » en produisant des scores qui nous font penser qu'ils se comportent d'une certaine manière « tout en cachant leurs véritables intentions ». Les systèmes savent déjà quand ils sont testés.

Il existe également un problème fondamental d'erreur cumulative dans les boucles récursives : à moins qu'une méthode d'alignement ne soit « 100 % précise », les erreurs s'accumulent. Une technique qui est 99,9 % précise tombe à environ 95 % après 50 générations, et à environ 60 % après 500, selon Clark. Si les systèmes d'IA commencent à façonner l'agenda de recherche pour leur propre formation, les humains pourraient ne pas avoir les instincts nécessaires pour juger des conséquences.

Vers une « économie machine »

Sur le plan économique, Clark s'attend à ce qu'une « économie machine » se développe à l'intérieur de la plus grande économie humaine : des entreprises lourdes en capital et légères en main-d'œuvre dont les systèmes d'IA échangent de plus en plus entre eux. Cela soulève des questions sur qui a accès à des ressources informatiques rares, et sur les goulets d'étranglement où le « monde numérique à évolution rapide » rencontre le « monde physique à évolution lente », comme les essais cliniques pour de nouvelles thérapies médicales.

Le chercheur en IA Herbie Bradley, qui a récemment écrit sur les chercheurs en IA automatisés sur son blog AI Pathways, conteste certaines parties de l'argument de Clark. Beaucoup de choses suggèrent que les modèles prendront en charge des travaux de « RS junior » mais pas des compétences de niveau supérieur comme le « goût en recherche et la créativité », la construction de visions, ou l'élaboration d'un « agenda de recherche cohérent à long terme qui comble une lacune manquante avec une séquence de percées réalisables ». L'ingénierie logicielle dans son ensemble a un plafond de compétence et de complexité plus élevé que la R&D en IA dans un sens étroit, soutient Bradley.