Tu codes avec l’IA ?
Outils, agents et nouveautés dev IA décryptés, chaque soir en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Un pipeline Scikit-learn peut agréger des embeddings textuels issus d’un modèle open-source léger et des variables tabulaires au sein d’un même flux. La méthode détaillée s’appuie sur sentence-transformers, ColumnTransformer et un classificateur Random Forest. Elle illustre l’approche avec un jeu SMS réel augmenté de variables synthétiques, sans recourir à des API payantes ni à des LLM géants.
Trois branches parallèles et un Random Forest pour conclure
Le pipeline assemble trois branches de traitement exécutées en parallèle, dont une pour l’embedding textuel. Un ColumnTransformer orchestre ces branches et conserve l’intégrité du jeu de données sans fractionnement ni recombinaison manuelle. Les colonnes numériques passent par une standardisation et les catégorielles par un encodage one-hot. La chaîne se termine par un classificateur RandomForestClassifier. Le modèle d’embedding choisi dans l’exemple est all-MiniLM-L6-v2.
Un jeu SMS réel enrichi de variables synthétiques
La démonstration s’appuie sur le SMS Spam Collection dataset, chargé depuis une URL publique et lu en tabulation sans en-tête avec les colonnes label et message. La cible est encodée en 0 pour ham et 1 pour spam. La génération de variables synthétiques est rendue reproductible par une graine 42. L’âge de compte est simulé entre 1 et 365 jours pour la classe spam et entre 1 et 1500 jours pour la classe ham. Le statut is_premium suit des probabilités distinctes selon la classe : pour spam, 0.95 pour no et 0.05 pour yes ; pour ham, 0.80 pour no et 0.20 pour yes. Un score de priorité est tiré uniformément entre 0.4 et 1.0 pour spam, et entre 0.0 et 0.7 pour ham. Ces distributions introduisent volontairement du bruit et un fort chevauchement pour éviter un apprentissage irréaliste. Un aperçu des trois premières lignes permet de vérifier la cohérence d’ensemble. Ce montage de données sert de base à un scénario de désabonnement ou de triage clients.
Un transformateur de texte conçu pour Scikit-learn
La brique d’embedding textuel est une classe TextEmbedder qui hérite de TransformerMixin et BaseEstimator. Son constructeur accepte un paramètre de modèle initialisé à all-MiniLM-L6-v2. La méthode fit instancie un SentenceTransformer si nécessaire afin de respecter les règles de clonage de Scikit-learn. La méthode transform gère des DataFrame pandas en extrayant la première colonne sous forme de chaînes, ou convertit l’entrée en Series le cas échéant. Elle renvoie un tableau 2D d’embeddings produit par model.encode avec la barre de progression désactivée. Cette encapsulation rend la génération d’embeddings compatible avec les pipelines Scikit-learn existants.
Orchestration unifiée du texte et du tabulaire
Le ColumnTransformer permet de faire cohabiter dans un même flux les embeddings textuels et les prétraitements dédiés aux variables numériques et catégorielles, en orchestrant des branches parallèles. Les opérations reposent uniquement sur des classes standard de la bibliothèque, ce qui facilite l’assemblage et l’évaluation d’un pipeline prêt pour le déploiement. La présentation inclut un schéma pour visualiser l’architecture unifiée et la synchronisation des branches.
Cas d’usage et choix techniques sans API payante
Des tâches comme le triage de tickets ou la prédiction de churn exigent de croiser texte et tabulaire dans un même modèle. L’approche met en œuvre un pipeline unifié qui traite chaque type de donnée selon ses besoins tout en gardant l’ensemble cohérent. Le cas illustré cible la détection d’utilisateurs spammeurs, mais la méthode se généralise à d’autres contextes où des messages ou descriptions textuelles complètent des attributs structurés. Les choix techniques privilégient des LLM open-source légers, en s’affranchissant d’API payantes et de modèles massifs comme LLaMA 3. L’installation peut reposer sur sentence-transformers, scikit-learn, pandas et numpy via une simple commande pip. Dans un IDE local, le préfixe spécifique aux notebooks est à omettre. L’objectif central est de combiner embeddings textuels et variables tabulaires au sein d’un unique pipeline de classification.
