Timer-XL : révolution dans la prévision des séries temporelles

Timer-XL : Un modèle de prévision innovant pour les séries temporelles

Introduction à Timer-XL

Timer-XL se distingue comme un modèle Transformer de nouvelle génération, conçu spécifiquement pour la prévision des séries temporelles. Ce modèle, qui repose uniquement sur un décodeur, se concentre sur la capacité à généraliser et à effectuer des prédictions sur des périodes étendues. Il propose une approche unifiée pour les prévisions à long terme, une caractéristique qui le démarque des autres modèles existants.

Les principales caractéristiques de Timer-XL incluent :

• Longueurs d'entrée et de sortie flexibles : Contrairement à des modèles tels que Tiny-Time-Mixers, qui nécessitent des versions distinctes pour différentes longueurs d'entrée ou de sortie, Timer-XL fonctionne avec un seul modèle pour toutes les configurations, sans présupposer la longueur du contexte ou de la prédiction.

• Capacité de prévision à long terme : Il gère efficacement des fenêtres de rétroaction étendues, ce qui est crucial pour les prévisions à long terme.

• Fonctionnalités avancées : Timer-XL est capable de prédire des séries univariées non stationnaires, de gérer des dynamiques multivariées complexes et d'intégrer des contextes informés par des covariables avec des variables exogènes, le tout dans une configuration unifiée.

• Polyvalence : Le modèle peut être entraîné à partir de zéro ou préentraîné sur de vastes ensembles de données, avec un affinement supplémentaire optionnel pour améliorer les performances.

Timer-XL améliore la précision des prévisions grâce à l'introduction de TimeAttention, un mécanisme d'attention sophistiqué que nous détaillerons plus loin.

L'équipe à l'origine de Timer-XL, issue du laboratoire THUML de l'Université Tsinghua, possède une expertise approfondie dans la modélisation des séries temporelles. Ils ont précédemment développé des modèles notables tels que iTransformer, TimesNet et Timer, le prédécesseur direct de Timer-XL.

Comparaison des modèles : Encoder, Decoder, et Encoder-Decoder

Avant d'explorer Timer-XL en détail, il est utile de comprendre les différents types de modèles de fondation utilisés dans la prévision des séries temporelles. Cette compréhension met en lumière les avancées qui ont conduit au développement de Timer-XL.

Applications dans le traitement du langage naturel (NLP)

À l'origine de l'ère des Transformers, un débat a émergé concernant l'architecture la plus efficace. Le Transformer initial était un modèle Encoder-Decoder. Par la suite, la recherche s'est scindée en deux branches : les modèles Encoder-only, comme BERT de Google, et les modèles decoder-only, tels que GPT d'OpenAI.

• Modèles Encoder-Decoder : Ces modèles utilisent un encodeur bidirectionnel pour analyser l'entrée et un décodeur causal pour générer la sortie, un token à la fois. Ils excellent dans les tâches de séquence à séquence, telles que la traduction et le résumé.

• Modèles Encoder-only : Ces modèles utilisent une attention bidirectionnelle pour comprendre une phrase et prédire des mots masqués. Ils sont particulièrement efficaces dans les tâches de compréhension du langage naturel (NLU).

• Modèles Decoder-only : Ces modèles utilisent une attention causale pour apprendre à prédire le mot suivant, excellant ainsi dans les tâches de génération de langage naturel (NLG).

Dans le domaine du NLP, les modèles decoder-only dominent les tâches de génération, tandis que les modèles encoder-only sont préférés pour la classification, la régression et la reconnaissance d'entités nommées (NER).

Applications dans les séries temporelles

À la fin de 2024 et au début de 2025, de nombreux modèles de fondation ont été publiés, fournissant des preuves abondantes de ce qui fonctionne le mieux dans la prévision des séries temporelles.

Ces modèles se déclinent en plusieurs formes :

• Modèles décodeurs : Comme TimesFM (Google) et Time-MOE.

• Modèles encodeurs : Comme MOIRAI (Salesforce) et MOMENT.

• Modèles Encoder-Decoder : Comme Chronos (Amazon).

Jusqu'à présent, les modèles décodeurs et encoder-decoder surpassent les encodeurs en matière de prévision. Les auteurs de Timer-XL ont confirmé cette tendance à travers des expériences approfondies.

Il existe également une catégorie de modèles polyvalents, utilisés pour la prévision, la classification, l'imputation, etc. MOMENT et UNITS appartiennent à cette catégorie et sont des modèles uniquement encodeurs.

Timer, un modèle polyvalent, est un modèle decoder-only. Son successeur, Timer-XL, surpasse Timer en prévision, mais se spécialise uniquement dans cette tâche.

Pour les tâches nécessitant une compréhension générale des séries temporelles, comme l'imputation ou la détection d'anomalies, les modèles encodeurs peuvent être plus adaptés. Cependant, pour la prévision des séries temporelles, les décodeurs ont actuellement l'avantage.

C'est pourquoi les auteurs ont évolué du design généraliste de Timer vers la spécialisation de Timer-XL en prévision. Les deux modèles sont des décodeurs, mais l'architecture du décodeur est particulièrement bénéfique pour la tâche de prévision.

Prévision à long terme

L'un des principaux avantages des modèles Transformer réside dans leur capacité à gérer de longues séquences de contexte. Les modèles de langage de grande taille (LLM) modernes, comme Gemini, peuvent traiter jusqu'à 1 million de tokens. Bien qu'ils ne soient pas parfaits à cette échelle, ils restent généralement fiables jusqu'à 100 000 tokens.

En revanche, les modèles de séries temporelles sont encore loin derrière. Les modèles de prévision basés sur les Transformers et l'apprentissage profond peinent souvent au-delà de 1 000 tokens. Des modèles de fondation récents, tels que MOIRAI, peuvent gérer jusqu'à 4 000 tokens.

Deux questions clés se posent ici :

• Quelle est la longueur de contexte maximale supportée ?

• Comment le modèle gère-t-il l'augmentation de la longueur de contexte en termes de performance ?

Timer-XL se distingue par sa capacité à mieux gérer l'augmentation du contexte par rapport à d'autres modèles.

Pour des ensembles de données journalières, comme ceux du trafic, il est possible d'utiliser jusqu'à une année de données (environ 8760 points de données). Cela rend Timer-XL particulièrement adapté pour la prévision à haute fréquence, une configuration où les modèles de fondation ont souvent des performances inférieures.

TimeAttention : Le mécanisme innovant de Timer-XL

Le mécanisme d'attention est au cœur des Transformers, une avancée majeure dans le NLP. Cependant, dans le contexte des séries temporelles, il peut s'avérer être une arme à double tranchant.

Les modèles Transformer pour les séries temporelles sont susceptibles de surapprentissage. Il n'est pas possible d'utiliser l'attention brute comme dans le NLP, car l'auto-attention est invariante par permutation (l'ordre des tokens n'a pas d'importance, ce qui ne devrait pas être le cas lorsque des informations temporelles sont impliquées).

Timer-XL introduit une variante causale de l'attention appelée TimeAttention.

TimeAttention intègre :

• Des embeddings positionnels rotatifs (ROPE) pour capturer les dépendances temporelles.

• Des biais binaires (ALIBI) pour capturer les dépendances entre les variates.

• Une auto-attention causale.

L'objectif de TimeAttention est de garantir :

• Aucune invariance par permutation pour les informations temporelles — l'ordre des points de données ou des tokens temporels doit être significatif.

• Invariance par permutation entre les variates ou caractéristiques — l'ordre des variates ne doit pas être significatif (par exemple, si nous avons deux covariables X1 et X2, leur ordre n'importe pas, seule la relation entre elles compte). Cela assure l'équivalence par permutation.

Le score d'attention entre la requête (m,i) et la clé (n,j), où i,j représentent les index temporels et (m,n) les index des variates, est calculé de manière spécifique.

TimeAttention permet à Timer-XL de gérer efficacement les dépendances temporelles tout en préservant l'intégrité des relations entre les variates.