Sur un sous-ensemble d’AG News, des embeddings figés extraits d’un LLM Qwen2.5-1.5B et un Random Forest atteignent 82,0 % de précision. L’essentiel du temps est pris par l’extraction des vecteurs (96,5 s), l’entraînement ne durant que 2,866 s. Un ajustement fin via LoRA est envisagé pour comparer les performances, sans résultats communiqués à ce stade.
82,0 % de précision et des temps mesurés de 96,5 s et 2,866 s
La stratégie fondée sur des embeddings figés obtient 82,0 % de précision. Le temps d’extraction des caractéristiques atteint 96,5 secondes, tandis que l’entraînement du classificateur ne prend que 2,866 secondes. La charge de calcul se concentre donc sur l’extraction, l’apprentissage du modèle en aval restant bref. Les évaluations sont menées sur 800 exemples d’entraînement et 200 exemples de test, tous deux mélangés avec une graine 42.
Un LLM Qwen2.5-1.5B quantifié en 4 bits et une tâche à 4 classes
L’expérience s’appuie sur Qwen/Qwen2.5-1.5B configuré pour une classification à quatre étiquettes. Le modèle est chargé avec une quantification en 4 bits de type nf4 et des calculs en bfloat16, en s’appuyant sur un device_map auto. Le pad_token_id du modèle est aligné sur celui du tokenizer, lui-même initialisé à partir du même identifiant. Le token de fin de séquence est utilisé comme token de padding, ce qui est indiqué comme nécessaire pour les architectures uniquement décodeuses. Les textes proviennent de l’ensemble de données ag_news, qui cible quatre catégories d’articles.
La recherche en IA vous passionne ?
Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Extraction par moyenne masquée du dernier état caché et Random Forest
Le LLM est utilisé comme extracteur de caractéristiques et ses poids restent figés. Les embeddings sont produits par lots de taille 8 en mode évaluation, avec une tokenisation qui active le padding et la troncature jusqu’à 128 tokens. L’inférence se fait sans gradients, en demandant les états cachés du modèle. L’agrégation retient le dernier état caché et calcule une moyenne pondérée par le masque d’attention, avec une pince à 1e-9 sur le dénominateur pour la stabilité numérique, avant conversion en vecteurs float32 sur CPU. Sur ces représentations, un RandomForestClassifier avec 100 estimateurs et une graine 42 est entraîné. Les embeddings et étiquettes sont extraits séparément pour l’entraînement et le test, et les temps d’extraction ainsi que d’apprentissage sont mesurés indépendamment.
Ajustement fin via LoRA envisagé, comparaison coût/performance en vue
La suite du protocole prévoit de tester un ajustement fin du LLM avec LoRA, une méthode d’adaptation à rang faible pour mettre à jour les poids de façon efficiente, afin d’examiner si la précision de 82 % peut être dépassée. L’environnement recommandé sur Colab indique l’usage d’un GPU T4 et l’installation de bitsandbytes, peft, accelerate et evaluate, tandis que dans d’autres environnements Python, scikit-learn, transformers et datasets sont requis. L’objectif déclaré est d’éclairer le choix entre embeddings figés et ajustement fin au regard des coûts et des performances, notamment pour des cas d’usage à budget et ressources limités.
