La recherche en IA te passionne ?
Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
HiFloat4 de Huawei : Une avancée significative en IA
Huawei a récemment mis en avant son nouveau format de précision, HiFloat4, qui a été testé contre le MXFP4, un format similaire développé par l'Open Compute Project. Ce format 4 bits est conçu pour l'entraînement et l'inférence en intelligence artificielle, et les résultats montrent qu'il est supérieur à son concurrent. Cette avancée témoigne de l'intérêt croissant des entreprises chinoises pour développer des formats de données à faible précision qui sont spécifiquement adaptés à leurs plateformes matérielles.
L'objectif principal de cette innovation est de permettre un pré-entraînement efficace des modèles de langage à grande échelle (LLM) en utilisant des accélérateurs IA spécialisés, tout en respectant des contraintes de puissance strictes. Huawei se concentre particulièrement sur ses unités de traitement neuronal (NPU) Ascend, qui sont conçues pour gérer les charges de travail d'apprentissage profond.
Les chercheurs ont entraîné trois types de modèles sur les puces Ascend de Huawei : OpenPangu-1B, Llama3-8B, et Qwen3-MoE-30B. Ils ont observé que plus les modèles étaient volumineux, plus HiFloat4 réduisait l'erreur de perte par rapport à une référence de pleine précision BF16. En comparaison, HiFloat4 a systématiquement surpassé le MXFP4.
Les résultats montrent que HiFloat4 atteint une perte relative d'environ 1.0%, tandis que le MXFP4 enregistre une perte de 1.5% par rapport à une référence de pleine précision. Pour les modèles Llama et Qwen, HiFloat4 présente un écart d'erreur inférieur à 1% par rapport à la référence.
L'importance stratégique de HiFloat4
HiFloat4 représente une avancée vers une précision encore plus faible que HiFloat8, illustrant l'effort continu de Huawei et d'autres fabricants de puces chinois pour maximiser l'efficacité de leurs technologies. Cette initiative s'inscrit dans un contexte de restrictions à l'exportation qui limitent l'accès de la Chine à des technologies de pointe, rendant crucial le développement de formats à faible précision adaptés à leur propre matériel.
Anthropic et l'automatisation de la recherche en IA
Dans un autre domaine de l'IA, les chercheurs du programme Anthropic Fellows ont exploré la possibilité d'automatiser la recherche en intelligence artificielle. Ils ont réussi à créer des agents IA autonomes capables de proposer des idées, de mener des expériences et d'itérer sur des problèmes de recherche ouverts, notamment comment former un modèle puissant en utilisant uniquement la supervision d'un modèle plus faible.
Les chercheurs ont testé cette approche en utilisant des méthodes de généralisation. Deux chercheurs humains ont passé sept jours à itérer sur quatre des méthodes de généralisation les plus prometteuses, atteignant un score de PGR de 0.23.
Après cinq jours supplémentaires de recherche, les agents IA ont presque comblé l'écart de performance, atteignant un PGR final de 0.97. Le coût de cette recherche s'est élevé à environ 18 000 dollars en tokens et en frais de formation de modèle.
Fonctionnement des agents IA
Les agents IA fonctionnent dans des environnements indépendants, mais peuvent communiquer et apprendre les uns des autres. Ils ont accès à des fonctions d'aide communes pour l'entraînement et l'inférence des modèles, et peuvent proposer des hypothèses, concevoir des expériences de réduction des risques, analyser des données et former des modèles de manière autonome.
Limites et implications de l'automatisation
Bien que l'automatisation de la recherche en IA semble prometteuse, les chercheurs soulignent que des interventions humaines sont nécessaires pour maintenir la diversité dans les directions de recherche. Cela soulève des questions sur la capacité des machines à proposer efficacement leurs propres directions de recherche, ce qui pourrait transformer la recherche en IA et mener à l'expansion d'une économie de machines.
Comparaison des modèles chinois et américains
Une étude récente a comparé le modèle chinois Kimi K2.5 à des modèles américains tels que DeepSeek V3.2, Claude Opus 4.5 et GPT 5.2. Les résultats montrent que K2.5 présente des capacités d'utilisation duale similaires à celles de GPT 5.2, mais avec moins de refus sur des demandes liées aux CBRNE.
En ce qui concerne les tâches biologiques, K2.5 montre un taux de refus plus bas. Sur le plan cybernétique, K2.5 est considéré comme un modèle décent, mais pas expert. En termes d'alignement, K2.5 affiche un comportement moins aligné que GPT-5.2 et Claude Opus 4.5. Enfin, le modèle K2.5 présente un taux de refus plus élevé sur des sujets politiques sensibles chinois par rapport à Claude Opus 4.5 et GPT-5.2 Pro.
Les chercheurs ont également démontré qu'avec un peu de puissance de calcul, ils pouvaient réduire les protections intégrées dans Kimi K2.5, ce qui soulève des préoccupations sur la sécurité et l'utilisation de ces modèles.
