Construire un apprentissage machine intelligent dans des environnements à faibles ressources

Construire un apprentissage machine intelligent dans des environnements à faibles ressources

Ce que signifie vraiment "faibles ressources"

Travailler dans un environnement à faibles ressources ressemble généralement à ceci :

• Ordinateurs obsolètes ou lents
• Connexion Internet instable ou inexistante
• Données incomplètes ou désordonnées
• Une seule personne dans l'équipe de données (probablement vous)

Ces contraintes peuvent sembler limitantes, mais il y a encore beaucoup de potentiel pour que vos solutions soient intelligentes, efficaces et même innovantes.

Pourquoi l'apprentissage machine léger est un atout

La réalité est que l'apprentissage profond reçoit beaucoup d'éloges, mais dans des environnements à faibles ressources, les modèles légers sont vos meilleurs alliés. La régression logistique, les arbres de décision et les forêts aléatoires peuvent sembler démodés, mais ils font le travail.

• Rapides
• Interprétables
• Fonctionnent parfaitement sur du matériel basique

De plus, lorsque vous construisez des outils pour des agriculteurs, des commerçants ou des travailleurs communautaires, la clarté est essentielle. Les gens doivent faire confiance à vos modèles, et les modèles simples sont plus faciles à expliquer et à comprendre.

Transformer des données désordonnées en magie : Ingénierie des caractéristiques 101

Si votre ensemble de données est un peu (ou beaucoup) chaotique, bienvenue dans le club. Capteurs défectueux, journaux de ventes manquants, notes manuscrites… nous sommes tous passés par là.

Voici comment vous pouvez extraire du sens à partir d'entrées désordonnées :

1. Caractéristiques temporelles

   • Jour de la semaine
   • Temps écoulé depuis le dernier événement
   • Indicateurs saisonniers
   • Moyennes mobiles

2. Regroupement catégorique

   • Trop de catégories ? Vous pouvez les regrouper. Au lieu de suivre chaque nom de produit, essayez "périssables", "snacks" ou "outils".

3. Ratios basés sur le domaine

   • Les ratios surpassent souvent les chiffres bruts. Vous pouvez essayer :
     • Engrais par acre
     • Ventes par unité de stock
     • Eau par plante

4. Agrégations robustes

   • Utilisez des médianes au lieu de moyennes pour gérer les valeurs aberrantes (comme les erreurs de capteur ou les fautes de frappe).

5. Variables indicatrices

   • Les indicateurs sont votre arme secrète. Ajoutez des colonnes comme :
     • "Données corrigées manuellement"
     • "Batterie de capteur faible"
     • "Estimation au lieu de réel"

Ils donnent à votre modèle un contexte qui compte.

Données manquantes ?

Les données manquantes peuvent poser problème, mais ce n'est pas toujours le cas. Cela peut être une information déguisée. Il est important de les traiter avec soin et clarté.

• Traitez le manque comme un signal : Parfois, ce qui n'est pas rempli raconte une histoire. Si les agriculteurs omettent certaines entrées, cela peut indiquer quelque chose sur leur situation ou leurs priorités.

• Imputation simple : Optez pour des médianes, des modes ou un remplissage par avance. L'imputation multi-modèle sophistiquée ? Évitez-la si votre ordinateur portable commence déjà à peiner.

• Utilisez les connaissances du domaine : Les experts du terrain ont souvent des règles intelligentes, comme utiliser la pluviométrie moyenne pendant la saison des semences ou les baisses de ventes connues durant les vacances.

• Évitez les chaînes complexes : Ne tentez pas d'imputer tout à partir de tout le reste ; cela ajoute simplement du bruit. Définissez quelques règles solides et tenez-vous-y.

Petites données ? Découvrez le transfert d'apprentissage

Voici une astuce intéressante : vous n'avez pas besoin de jeux de données massifs pour bénéficier des grandes avancées. Même des formes simples de transfert d'apprentissage peuvent faire beaucoup.

• Incorporations de texte : Vous avez des notes d'inspection ou des retours écrits ? Utilisez de petites incorporations pré-entraînées. De grands gains à faible coût.

• Global à local : Prenez un modèle de rendement climatique global et ajustez-le en utilisant quelques échantillons locaux. Des ajustements linéaires peuvent faire des merveilles.

• Sélection de caractéristiques à partir de références : Utilisez des ensembles de données publics pour guider les caractéristiques à inclure, surtout si vos données locales sont bruyantes ou rares.

• Prévisions de séries temporelles : Empruntez des modèles saisonniers ou des structures de retard à partir de tendances globales et personnalisez-les pour vos besoins locaux.

Un cas réel : Des choix de culture plus intelligents dans l'agriculture à faibles ressources

Une illustration utile de l'apprentissage machine léger provient d'un projet StrataScratch qui travaille avec de vraies données agricoles en Inde.

L'objectif de ce projet est de recommander des cultures qui correspondent aux conditions réelles avec lesquelles les agriculteurs travaillent : des modèles météorologiques désordonnés, un sol imparfait, tout cela.

L'ensemble de données derrière cela est modeste : environ 2 200 lignes. Mais il couvre des détails importants comme les nutriments du sol (azote, phosphore, potassium) et les niveaux de pH, ainsi que des informations climatiques de base comme la température, l'humidité et les précipitations.

Au lieu de se tourner vers l'apprentissage profond ou d'autres méthodes lourdes, l'analyse reste intentionnellement simple.

Nous commençons par quelques statistiques descriptives, suivies d'une exploration visuelle, puis nous exécutons quelques tests ANOVA pour comprendre comment les facteurs environnementaux diffèrent selon les types de cultures.

Ce projet à petite échelle et à faibles ressources reflète les défis réels de l'agriculture rurale. Nous savons tous que les modèles météorologiques ne suivent pas de règles, et que les données climatiques peuvent être incomplètes ou incohérentes. Au lieu de lancer un modèle complexe sur le problème et d'espérer qu'il trouve des solutions, nous avons plongé dans les données manuellement.

Peut-être que l'aspect le plus précieux de cette approche est son interprétabilité. Les agriculteurs ne recherchent pas des prédictions opaques ; ils ont besoin de comprendre et de faire confiance aux résultats.