Le brief IA que les pros lisent chaque soir
Les 7 actus IA du jour, décryptées en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Qwen 2.5 : Un concurrent sérieux pour ChatGPT
Il y a six mois, un chiffre a bouleversé notre perception des capacités de l'IA : le modèle Qwen 2.5 Coder 32B a obtenu un score impressionnant de 92,9 sur le benchmark HumanEval, surpassant ainsi le GPT-4o qui a marqué 90,2. HumanEval est une référence de l'industrie pour évaluer la génération de code, couvrant 164 problèmes de programmation dans divers langages. Ce résultat a mis en lumière qu'un modèle open-source gratuit, fonctionnant sur du matériel accessible au grand public, pouvait rivaliser avec un modèle pour lequel notre équipe payait 30 $ par utilisateur et par mois. Ce constat a déclenché un audit rigoureux de nos dépenses.
Un audit révélateur des coûts
Avant de se lancer dans la mise en place d'une nouvelle infrastructure, nous avons analysé les tâches d'IA effectuées par notre équipe de dix personnes sur une semaine typique. La répartition des tâches s'est révélée plus déséquilibrée que prévu :
- ~45 % étaient des tâches d'écriture, incluant emails, documentation et résumés.
- ~30 % concernaient le codage, comme le débogage et la génération de fonctions.
- ~15 % étaient des tâches d'analyse, telles que l'interprétation de données.
- ~10 % nécessitaient des capacités de pointe ou des informations en temps réel.
L'audit a révélé que les 10 % de tâches nécessitant une intelligence avancée subventionnaient les 90 % restantes. Nous payions un tarif mensuel par utilisateur pour des tâches où un modèle local de 14B produisait des résultats comparables à ceux de GPT-4o. La question n'était pas de savoir si l'IA locale était meilleure, mais si la différence de qualité justifiait le coût supplémentaire. Pour notre équipe, la réponse était non, surtout à 300 $/mois.
Choix du matériel : une décision stratégique
Pour héberger notre IA localement, nous avons opté pour une carte graphique RTX 3090–24GB VRAM, achetée d'occasion pour 600 $. Le seuil de 24 Go de VRAM est crucial pour exécuter des modèles de 32B avec quantification Q4. Les modèles de 14B sont possibles en dessous de ce seuil, mais ils sont moins performants pour des tâches complexes.
Voici la hiérarchie des capacités matérielles :
- CPU uniquement : 16–64 Go RAM pour des modèles 7B (3–8 tok/s), adaptés aux tâches simples.
- RTX 3070 / 4060 Ti : 8 Go pour des modèles 7B–8B, suffisants pour les tâches quotidiennes.
- RTX 3080 / 4080 : 16 Go pour des modèles 13B–14B, proches de la frontière sur la plupart des tâches.
- RTX 3090 / 4090 : 24 Go pour des modèles 32B–34B, compétitifs avec GPT-4o.
- Dual 3090 / A6000 : 48 Go+ pour des modèles 70B, offrant des capacités de pointe.
Le coût total de l'infrastructure s'est élevé à ~1 200 $, incluant le GPU, une station de travail d'occasion et 2 To de stockage NVMe. Le seuil de rentabilité par rapport à notre abonnement ChatGPT Team a été atteint en quatre mois.
La sélection des modèles
Nous avons testé chaque modèle open-source majeur par rapport à notre distribution de tâches avant de faire notre choix final.
Tâches générales — Qwen 2.5 14B
- Commande de tirage :
ollama pull qwen2.5:14b
Ce modèle gère efficacement l'écriture, la rédaction d'emails, la synthèse et les questions-réponses. Il s'intègre dans 9 Go de VRAM avec quantification Q4, laissant 15 Go pour d'autres processus. Sur les tâches d'écriture, les résultats de Qwen 2.5 14B étaient indiscernables de ceux de GPT-4o lors de tests à l'aveugle.
Tâches de codage — Qwen 2.5 Coder 32B
- Commande de tirage :
ollama pull qwen2.5-coder:32b
Ce modèle excelle en Python, TypeScript, Go, Rust, SQL et shell scripting, avec des sorties idiomatiques et des explications de débogage précises. Il utilise ~20 Go de VRAM en Q4, laissant peu de marge sur une carte de 24 Go.
Tâches de raisonnement — DeepSeek R1 14B
- Commande de tirage :
ollama pull [deepseek](/dossier/deepseek)-r1:14b
DeepSeek R1 utilise une architecture de chaîne de pensée, externalisant son processus de raisonnement avant de fournir une réponse. Cette approche produit des résultats plus précis sur des tâches analytiques complexes.
Pipeline vocal
- Speech-to-Text :
pip install faster-whisper#ou via Ollama :ollama pull whisper
Whisper Large v3 Turbo atteint un taux d'erreur de mots inférieur à 3 % sur de l'audio propre, équivalent à l'API Whisper payante d'OpenAI.
- Text-to-Speech :
pip install kokoro
Kokoro (82M paramètres) fonctionne sur CPU, produisant une parole naturelle notée au-dessus de modèles dix fois plus grands, avec un temps de réponse inférieur à 200 ms.
Document Q&A — RAG avec nomic-embed-text
- Commande de tirage :
ollama pull nomic-embed-text
Nomic-embed-text est le modèle d'embedding qui permet le Retrieval Augmented Generation (RAG). Il convertit les documents en représentations vectorielles, stockées dans Qdrant, permettant à l'IA de récupérer des informations pertinentes.
