PrismML : Bonsai 27B révolutionne l'IA sur iPhone avec 4 Go

PrismML : Bonsai 27B révolutionne l'IA sur iPhone avec 4 Go

Bonsai 27B est un modèle de raisonnement complet qui tient sur un iPhone.

PrismML a lancé Bonsai 27B, un modèle d'IA qui, selon ses dires, peut fonctionner sur un smartphone sans sacrifier les capacités de raisonnement ou d'agent. Apple teste apparemment cette technologie.

PrismML, une entreprise fondée par une équipe de chercheurs de Caltech, a développé Bonsai 27B, un modèle d'IA de 27 milliards de paramètres conçu pour fonctionner directement sur un iPhone. Bonsai 27B est basé sur le modèle Qwen3.6-27B d'Alibaba. PrismML affirme qu'il prend en charge le raisonnement à plusieurs étapes, l'utilisation d'outils, la compréhension d'images et les tâches basées sur des agents.

PrismML soutient que les applications d'IA modernes ont de plus en plus besoin de modèles puissants pour fonctionner localement. Un agent peut effectuer des centaines d'appels au modèle en séquence, chacun portant un contexte, produisant une sortie structurée et alimentant l'étape suivante. Dans le cloud, les coûts par jeton s'accumulent, chaque appel ajoute de la latence réseau, et les résultats intermédiaires, les appels d'outils et les données privées, comme le contenu de l'écran ou les documents, quittent tous l'appareil.

Cependant, exécuter le modèle sur l'appareil réduit le coût marginal de ces boucles à zéro et garde les données utilisateur localisées. PrismML considère cela comme la base pour des agents toujours actifs, des assistants hors ligne et des systèmes hybrides. Les tâches simples et sensibles à la vie privée restent sur l'appareil, tandis que seules les étapes les plus difficiles sont envoyées aux modèles avancés dans le cloud.

Selon un rapport de CNBC, PrismML est déjà en pourparlers avec Apple concernant la technologie de compression derrière Bonsai. Le PDG de PrismML, Babak Hassibi, a confirmé qu'Apple et d'autres entreprises testent les modèles pour la vitesse, la consommation d'énergie et les performances. Les discussions en sont à un stade "très précoce", mais "les choses avancent bien".

Deux versions du modèle pour ordinateurs portables et smartphones

Un modèle de cette taille occupe généralement environ 54 Go de stockage. Même avec une compression standard, il nécessite encore environ 18 Go. PrismML propose deux versions beaucoup plus petites : la variante axée sur la qualité occupe environ 5,9 Go et est destinée aux ordinateurs portables, bien que les packages actuellement expédiés puissent être plus volumineux selon l'exécution. Le document technique indique environ 7,2 Go pour la version llama.cpp et 8,49 Go pour la version MLX.

La variante plus petite fait environ 3,9 Go, suffisamment petite pour tenir dans le stockage limité d'un iPhone 17 Pro Max. Selon PrismML, un iPhone avec 12 Go de RAM ne rend en réalité qu'environ 6 Go disponibles pour une seule application, répartis entre le modèle et le cache.

Au lieu de stocker chaque poids de réseau de neurones en 16 bits, PrismML n'utilise qu'un ou juste moins de deux bits. Dans la variante la plus agressive, chaque poids a seulement deux états. Dans la version légèrement plus grande, trois. Cette approche est appliquée à l'ensemble du modèle linguistique. En exemple des problèmes d'étiquetage courants, PrismML cite la construction Qwen3.6-27B-IQ2_XXS comparée dans le document technique, qui moyenne 2,8 bits par poids malgré son étiquette "2 bits".

La variante Bonsai à 1 bit se distingue par son efficacité avec une densité d'intelligence de 0,530 par Go, loin devant les modèles ternaires et FP16.

PrismML affirme que la compression a un impact limité sur la qualité

Dans l'évaluation de PrismML sur 15 benchmarks, la variante plus grande conserve 95 % des performances du modèle original. La plus petite conserve 90 %. Les mathématiques et la programmation sont restées "virtuellement inchangées", selon PrismML.

Les plus grandes baisses ont été observées avec la compression plus agressive, en particulier dans la compréhension d'images, le suivi d'instructions et l'utilisation d'outils basés sur des agents. Un modèle Qwen3.6-27B compressé de manière conventionnelle à 9,4 Go obtient seulement 72,7 points, tandis que la variante Bonsai plus petite à 3,9 Go obtient 76,1.

Les modèles Bonsai compressés conservent jusqu'à 95 % des performances originales de Qwen3.6-27B. La variante à 1 bit montre une baisse plus marquée en vision et en suivi d'instructions.

Selon le document technique, la variante plus petite génère environ 11 jetons par seconde sur un iPhone 17 Pro Max. Un test de batterie a donné environ 672 jetons générés par point de pourcentage de charge de batterie, ce qui extrapole à environ 67 000 jetons sur une charge complète. La puce a légèrement ralenti après un peu plus de cinq minutes.

Apple pourrait utiliser cette technologie pour combler son retard en IA locale

Les poids du modèle sont disponibles sous la licence Apache 2.0. Bonsai 27B fonctionne sur les appareils Apple via le cadre MLX d'Apple et sur les GPU NVIDIA. PrismML propose également une API Developer Preview gratuite limitée dans le temps et une démonstration en direct sur HuggingFace.

L'entreprise a été fondée avec le soutien de Khosla Ventures, Cerberus et Google, et Samsung continue de la soutenir. PrismML prévoit d'appliquer sa technologie de compression à la série de modèles Gemma de Google, dont des versions plus petites fonctionnent déjà sur des smartphones.

Une technologie de compression sous licence serait également importante pour Apple, dont les propres modèles ont jusqu'à présent été à la traîne par rapport à la concurrence dans les benchmarks. Lors de la WWDC 2026, Apple a dévoilé un Siri remanié basé sur des modèles fondamentaux développés avec Google utilisant la technologie Gemini. Le modèle le plus puissant sur appareil nécessite déjà un iPhone avec au moins 12 Go de RAM, et les requêtes complexes s'exécutent sur des GPU Nvidia dans le cloud d'Apple.