Thinking Machines défie l'IA universelle avec Inkling

Thinking Machines défie l'IA universelle avec Inkling, son modèle ouvert innovant

Thinking Machines Lab, une startup spécialisée dans l'intelligence artificielle et fondée par Mira Murati, ancienne directrice technique d'OpenAI, a récemment dévoilé son premier modèle d'IA propriétaire, baptisé Inkling. Ce modèle se distingue par son ouverture, permettant aux développeurs et aux entreprises de le télécharger et de le modifier selon leurs besoins, contrairement aux modèles fermés des géants comme OpenAI, Anthropic ou Google.

Inkling repose sur une architecture de mélange d'experts, cumulant un impressionnant total de 975 milliards de paramètres. Toutefois, pour chaque tâche spécifique, il n'en utilise qu'une fraction, soit environ 41 milliards de paramètres. Cette approche est courante pour rendre les modèles massifs plus efficaces et moins coûteux à opérer. Le modèle a été formé sur 45 trillions de tokens englobant du texte, des images, de l'audio et de la vidéo, et il est capable de raisonner de manière native sur ces quatre types de données. Actuellement, ses capacités se concentrent sur la production de texte, incluant le code, les artefacts stylisés et les données structurées.

Ce lancement marque la première démonstration publique des capacités de Thinking Machines Labs après un an et demi de développement en coulisses. Une partie de ce travail avait été révélée en mai lors d'une présentation sur les modèles d'interaction, une IA conçue pour dialoguer de manière plus fluide, capable d'interrompre et de réagir plutôt que d'attendre passivement comme les chatbots traditionnels. Ce modèle représente également un test du pari central de la startup : l'IA adaptable par les organisations elles-mêmes surpassera les modèles universels proposés par les grands laboratoires.

Inkling se distingue par sa capacité à fournir des réponses calibrées, signalant l'incertitude plutôt que de deviner, et permet aux utilisateurs d'ajuster l'effort de réflexion selon leurs besoins, en échangeant la vitesse contre la précision. Selon un benchmark interne, Inkling utilise un tiers des tokens nécessaires au Nemotron 3 Ultra de Nvidia pour atteindre des performances similaires en codage.

Il est important de noter que Thinking Machines ne prétend pas qu'Inkling est le modèle le plus puissant du marché. Les documents de l'entreprise précisent qu'Inkling n'est "pas le modèle le plus puissant disponible aujourd'hui, qu'il soit fermé ou ouvert". L'objectif est plutôt d'offrir une performance équilibrée et une personnalisabilité accrue.

La question se pose alors : qui est la cible de ce produit ? Pour l'instant, Inkling est commercialisé comme un point de départ pour les entreprises, plutôt qu'un produit fini. Les organisations peuvent le personnaliser via Tinker, la plateforme de personnalisation de modèles de Thinking Machines, bien que cela nécessite une expertise en apprentissage automatique pour garantir la sécurité des personnalisations.

En contraste, OpenAI, Anthropic et Google ont adopté une approche différente avec leurs produits respectifs ChatGPT, Claude et Gemini, conçus d'abord comme des chatbots polyvalents avec des fonctionnalités autonomes ajoutées par la suite.

Un article publié par Thinking Machines la semaine dernière semble poser le cadre de ce lancement. L'entreprise y soutient que l'IA centralisée, figée par une seule entreprise, est moins performante que l'IA que les organisations peuvent adapter elles-mêmes, car l'expertise est souvent spécifique à ceux qui la possèdent. L'idée est que les laboratoires centralisés offrent un produit unique, tandis que les entreprises qui personnalisent leurs modèles peuvent en tirer davantage de valeur.

Cet argument gagne en popularité. Dans un article de blog récent, le PDG de Microsoft, Satya Nadella, a averti que les entreprises utilisant des modèles d'IA propriétaires paient deux fois : d'abord en frais d'abonnement, puis en partageant des connaissances commerciales intégrées dans leurs requêtes et corrections, qui peuvent être intégrées dans les futures versions du modèle.

Le PDG de Hugging Face, Clem Delangue, a exprimé une opinion similaire, prédisant que les modèles de pointe seront réservés à l'expérimentation et aux tâches à forte valeur ajoutée, tandis que la majorité des travaux d'IA en production se tourneront vers des alternatives privées ou open-source, ce qui correspond à la stratégie de Thinking Machines.

Un exemple concret de cette approche est un projet récent avec Bridgewater Associates, le plus grand fonds spéculatif mondial. Les chercheurs des deux entreprises ont pris un modèle open-source et l'ont adapté à l'expertise financière de Bridgewater. Le résultat a obtenu 84,7 % aux tests de raisonnement financier, surpassant les meilleurs modèles d'IA propriétaires, tout en coûtant environ un quatorzième des frais de fonctionnement habituels — bien que ces résultats soient issus de l'évaluation interne des deux entreprises.

Thinking Machines met également en avant sa rapidité de développement. Alors qu'OpenAI a mis environ cinq ans pour commercialiser sa technologie, et Anthropic trois, Thinking Machines affirme avoir atteint un stade similaire en seulement neuf mois.

Des questions se posent sur la méthode d'entraînement d'Inkling, notamment si elle a utilisé les sorties de modèles concurrents, une pratique appelée distillation qui suscite des interrogations dans le secteur. Selon les documents de l'entreprise, Inkling a été pré-entraîné de manière indépendante, mais a utilisé d'autres modèles ouverts, comme le Kimi K2.5 de Moonshot AI, pour générer certaines données initiales avant d'entamer un apprentissage par renforcement à grande échelle. Le prochain modèle, promet l'entreprise, utilisera un post-entraînement entièrement autonome.

Concernant les coûts, Thinking Machines reste discrète. Elle a établi un partenariat stratégique avec Nvidia en mars pour déployer un gigawatt de capacité de calcul Vera Rubin, et affirme qu'Inkling a été entièrement entraîné sur les systèmes GB300 NVL72 de Nvidia. Cependant, l'entreprise n'a pas précisé comment elle compte équilibrer cela avec des revenus qui n'ont pas été une priorité jusqu'à présent. Un tour de financement de 50 milliards de dollars aurait été en préparation, mais a été bloqué en janvier ; l'entreprise n'a pas commenté sa situation financière depuis, bien que Nvidia ait mentionné un "investissement significatif" lors de l'annonce du partenariat.

Une question connexe est de savoir si les dépenses de Thinking Machines atteindront un jour l'échelle de celles d'OpenAI ou d'Anthropic, ou si son approche axée sur l'efficacité signifie que l'économie est différente. En d'autres termes, le pari de l'entreprise pourrait être de ne pas avoir besoin de dépenser autant que ses rivaux, car une fois que les poids sont publics, rien n'oblige quiconque à payer Thinking Machines pour les utiliser, contrairement à l'accès mesuré vendu par OpenAI et Anthropic. C'est Tinker, et non le modèle lui-même, qui doit générer des revenus, via l'entraînement, le fine-tuning, et désormais une part de l'écosystème d'hébergement.

Le nombre d'employés de Thinking Machines semble stable, avec environ 200 personnes, en hausse après une vague de départs plus tôt cette année, y compris deux cofondateurs partis pour OpenAI en janvier.

Thinking Machines semble peu intéressée par la mise en avant de mouvements individuels, préférant une culture de continuité plutôt que de dépendance à une personnalité unique. Cela s'aligne avec l'idée que les changements d'équipe sont moins perturbateurs si les individus ne sont pas mis sur un piédestal. C'est notable pour une entreprise dont l'histoire est encore fortement associée à sa cofondatrice célèbre, qu'elle le veuille ou non.