La recherche en IA te passionne ?
Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Un projet ambitieux en production
Trendvesting est une plateforme spécialisée dans l'intelligence des signaux financiers, notamment pour les actions et les options. Le projet a pris son envol avec un premier commit le 14 février 2024. Depuis, il a connu une croissance significative, atteignant 1 672 commits. Cette évolution s'est faite à travers un backend Go multi-mode, une application Next.js, un client React Native et un service de consensus Python FastAPI, illustrant la complexité et la diversité technologique du projet.
Les coûts réels de l'infrastructure
L'auteur de l'étude souligne que, contrairement aux attentes, les coûts majeurs d'un système d'IA en production ne proviennent pas des tokens de modèle. En réalité, c'est l'infrastructure fixe qui pèse le plus lourd dans le budget. Des éléments tels que les clusters Kubernetes, les sauvegardes et l'observabilité sont essentiels pour assurer un fonctionnement fiable du système. Cette révélation remet en question les hypothèses de coûts basées uniquement sur les tokens, souvent trompeuses.
Optimisation et leçons apprises
L'analyse des dépenses a permis de mettre en lumière comment l'optimisation peut infléchir la courbe des coûts. Trois principales "taxes" ont été identifiées au cours du projet :
- Le coût des données de mauvaise qualité ou gratuites, particulièrement crucial pour les options.
- La duplication du travail due à un manque de mise en cache ou de dédoublonnage.
- Le gaspillage financier causé par des sorties verbeuses, où l'absence de contraintes sur les formats de réponse entraîne des coûts directs en raison de l'asymétrie des prix d'entrée et de sortie.
Migration vers des modèles plus économiques
En mars, une migration vers des modèles moins coûteux a été effectuée. Cette transition a permis de mesurer l'impact de la perte de signal, démontrant que des modèles plus petits peuvent être efficaces lorsqu'ils sont associés à une gestion des risques rigoureuse. L'accent a été mis sur l'importance des stop-loss, souvent plus cruciaux que la sophistication du modèle lui-même.
Coût par signal et transparence
L'étude conclut en calculant le coût entièrement chargé par signal, estimé entre 1,50 et 2,00 dollars. Ce chiffre met en évidence que, à petite échelle, l'économie unitaire est largement dominée par des coûts fixes. L'auteur encourage les autres à publier leurs propres livres de comptes détaillés, soulignant que cette transparence est rare mais précieuse dans le domaine de l'IA en production.
