Réseaux bayésiens : l’ELBO rend l’approximation praticable

L’approche bayésienne promet des prédictions assorties d’un degré de confiance, mais la postérieure exacte d’un réseau reste hors d’atteinte. L’inférence variationnelle contourne l’obstacle en optimisant une approximation et en maximisant l’ELBO. Appliquée au jeu California Housing, cette voie fournit des intervalles de prédiction et des garde-fous concrets pour l’usage d’un modèle.

Calcul exact impossible, l’ELBO guide l’approximation

Obtenir la distribution postérieure des poids d’un réseau via le théorème de Bayes exige le calcul de p(D), une intégrale sur toutes les combinaisons de poids. Avec des milliers ou des millions de paramètres, cette intégration devient intractable et la réponse exacte ne peut pas être calculée. En pratique, même quelques milliers de paramètres posent un problème théoriquement solvable mais trop coûteux en temps ou en mémoire. L’inférence variationnelle reformule alors la tâche en un problème d’optimisation : trouver une distribution plus simple qui ressemble à la cible. Elle s’appuie sur des algorithmes d’optimisation puissants, éprouvés à grande dimension, pour approcher des distributions autrement inaccessibles. La qualité d’approximation se juge classiquement à la divergence de Kullback–Leibler, nulle si les distributions coïncident et croissante sinon, mais la cible étant inconnue, on maximise plutôt l’ELBO, une borne inférieure calculable à partir des seules informations disponibles. Cette approche laisse néanmoins des choix de conception et de stratégie d’entraînement qui conditionnent la mise en œuvre.

Ce que change un réseau bayésien face à un réseau standard

Un réseau standard ajuste de nombreux poids pour rapprocher ses prédictions des sorties connues et livre une réponse unique, sans formuler d’ignorance. Un réseau bayésien conserve la même architecture mais remplace chaque poids ponctuel par une distribution de probabilité, typiquement gaussienne bien que d’autres familles soient possibles. Concrètement, un poids n’est plus fixé à une valeur, comme 5,2, mais décrit une plage plausible, par exemple autour de 5, entre 3 et 7. Certaines distributions deviennent fines (quand la certitude est forte), d’autres plus étalées. Après entraînement, un réseau standard produit toujours la même sortie pour une même entrée, tandis qu’un réseau bayésien échantillonne des poids à chaque passage. La répétition d’une même entrée génère ainsi une collection de sorties dont on déduit un intervalle de prédiction. Là où un modèle classique annoncerait une valeur médiane de 300 000 $, un réseau bayésien peut formuler un intervalle à 95 % entre 250 000 $ et 350 000 $.

Incertitude épistémique et aléatoire : utilité pratique et limites

La littérature distingue depuis le 17ème siècle deux incertitudes : l’épistémique, liée au modèle et rencontrée sur des configurations jamais vues, et l’aléatoire, due à la variabilité intrinsèque même pour des cas familiers. Séparer ces sources est utile et des formalismes prétendent y parvenir, mais les définitions mathématiques divergent parfois. Des travaux récents suggèrent que ces deux dimensions sont largement entremêlées dans l’apprentissage automatique. Une approche opérationnelle consiste alors à produire un estimateur unique d’incertitude, sans chercher à étiqueter les contributions épistémiques ou aléatoires.

Jeu California Housing : 20 640 lignes, 8 variables et un plafond à 500 000 $

Le jeu California Housing de scikit-learn, sous licence BSD, s’appuie sur les travaux de Pace et Barry (1997) et dérive du recensement américain de 1990. Les valeurs immobilières qui y figurent ne correspondent donc pas au marché actuel. Chaque observation résume un groupe de blocs de recensement, la plus petite unité géographique échantillonnée, regroupant quelques centaines à quelques milliers de personnes. Le jeu décrit 20 640 maisons au travers de huit variables : revenu médian (MedInc), âge médian des maisons (HouseAge), pièces moyennes par ménage (AveRooms), chambres moyennes (AveBedrms), population, membres moyens par ménage (AveOccup), latitude et longitude. La cible est la valeur médiane par groupe de blocs. Un plafond fixe toutes les valeurs au-delà de 500 000 $ à 500 000 $ ; pour l’apprentissage, toutes les maisons à 500 000 $ ont été retirées. Un carnet dédié détaille le prétraitement et la constitution des ensembles d’entraînement et de test.

Implémentation : distributions de poids, VI et bornes d’incertitude

La réalisation en Python met en place des distributions de poids, entraîne le modèle par inférence variationnelle et en extrait des bornes d’incertitude actionnables pour décider quand exploiter ou écarter une prédiction. Les carnets fournis privilégient la mise au jour des contraintes d’ingénierie plutôt que l’optimisation d’hyperparamètres comme la taille des couches. Chaque carnet isole un choix de conception pour l’illustrer. En contexte de production, il est attendu de combiner ces choix pour répondre aux exigences de robustesse et de performance.

Quitter l’illusion des moyennes : au-delà de la MAE et des chiffres uniques

Une prédiction ponctuelle, telle qu’une valeur médiane à 385 000 $, peut donner une impression de précision tout en occultant les causes d’incertitude, qu’elles tiennent aux données ou au décalage du modèle face à un cas inédit. Les réseaux à sortie unique ne documentent pas cette nuance et se contentent souvent d’indiquer des métriques agrégées comme la MAE, peu informatives pour l’exemple présent. Un cadre bayésien vise au contraire une plage plausible assortie d’un niveau de confiance, approche portée par des travaux récents qui encouragent à intégrer l’incertitude dans les décisions automatisées.