Architecture JEPA : comment Yann LeCun corrige les limites des LLM
L'architecture JEPA (Joint-Embedding Predictive Architecture) est une approche d'apprentissage auto-supervisé proposée par Yann LeCun début 2022. Contrairement aux grands modèles de langage actuels qui prédisent des tokens les uns après les autres, JEPA apprend à prédire des représentations abstraites d'une entrée à partir d'une autre partie de cette même entrée. Cet article explique ce que cette architecture change par rapport aux LLM. Le sujet est d'actualité car les limites des modèles génératifs deviennent difficiles à ignorer, et que les implémentations de JEPA produisent des résultats tangibles.
Pourquoi Yann LeCun propose une architecture alternative
Les LLM comme GPT-5 ou Llama fonctionnent de manière autoregressive : ils prédisent le token suivant à partir des précédents. Cette approche a produit des résultats remarquables, mais LeCun identifie trois limites structurelles.
Premièrement, ces modèles n'ont pas de modèle interne du monde. Ils manipulent des patterns linguistiques sans comprendre la réalité physique derrière les mots. D'où les hallucinations : le modèle génère du texte statistiquement plausible, mais factuellement faux.
Deuxièmement, la prédiction token par token empêche toute planification à long terme. Le modèle ne maintient pas de représentation d'un objectif à atteindre et des étapes pour y parvenir.
Troisièmement, l'apprentissage nécessite des quantités de données démesurées. Un humain apprend les bases de la conduite en une vingtaine d'heures. Les systèmes de conduite autonome ont consommé des milliards de dollars et des millions d'exemples sans atteindre ce niveau d'adaptation.
LeCun nomme cette situation le paradoxe de Moravec : les tâches de perception et de motricité, naturelles pour un humain, restent extrêmement difficiles pour les machines.
JEPA répond à ces problèmes en changeant l'objectif d'apprentissage. Au lieu de reconstruire des tokens ou des pixels, le modèle apprend à prédire des représentations abstraites, ce qui le force à développer une compréhension sémantique de son environnement.
Comment fonctionne l'architecture JEPA
Le principe de JEPA se résume en une idée : prédire la représentation d'une partie masquée d'une entrée à partir de la partie visible, le tout dans un espace abstrait.
Le processus suit trois étapes. Un encodeur transforme l'entrée (image, vidéo) en une représentation dans un espace latent. Une partie de cette représentation est masquée. Un réseau prédictif tente de deviner la représentation masquée en se basant sur le contexte visible.
La distinction se fait par rapport à deux familles d'architectures existantes.
| Approche | Ce qu'elle prédit | Limite principale |
|---|---|---|
| Générative (autoencoders, diffusion) | L'entrée manquante dans l'espace d'origine (pixels, tokens) | Le modèle reconstruit chaque détail, y compris le bruit et les éléments imprévisibles |
| Par invariance (SimCLR, BYOL) | La similarité entre embeddings de vues augmentées | Peut perdre des informations spécifiques en forçant l'invariance |
| JEPA | L'embedding de la partie masquée à partir du contexte | Plus récent et moins éprouvé à grande échelle |
L'avantage de JEPA est de ne pas gaspiller de capacité à prédire des détails irréalistes. Un modèle génératif qui doit dessiner une main cachée va essayer de reproduire chaque doigt, avec le risque d'en ajouter ou d'en supprimer. JEPA, en travaillant dans un espace abstrait, prédit qu'il y a une main dans cette zone, avec sa fonction probable, sans se soucier de la géométrie exacte de chaque phalange.
Les variantes concrètes de JEPA
Depuis la proposition initiale, l'équipe de Meta a produit plusieurs implémentations.
- I-JEPA : applique le principe aux images statiques. Présenté à CVPR 2023, il atteint des performances de pointe en classification avec peu d'exemples (low-shot), en entraînant un ViT-Huge sur 16 GPU A100 en moins de 72 heures.
- V-JEPA et V-JEPA 2 : étendent l'architecture à la vidéo. Le modèle prédit les représentations de trames futures à partir du contexte passé. V-JEPA 2 démontre des capacités de planification robotique zero-shot : après un entraînement sur 62 heures de données robotiques, il contrôle un bras robotique dans des environnements nouveaux sans démonstrations spécifiques.
- MC-JEPA : sépare l'apprentissage des caractéristiques de mouvement et de contenu dans les vidéos.
- VL-JEPA : combine vision et langage dans un cadre JEPA commun.
Ces implémentations montrent que l'architecture se généralise à différents types de données et de tâches.
Ce que JEPA permet en pratique
Les résultats les plus concrets concernent deux domaines :
- En vision par ordinateur, les représentations apprises par I-JEPA sont réutilisables sans réentraînement massif. Le même modèle sert pour la classification, la détection d'objets, l'estimation de profondeur ou le comptage d'objets. Cette transférabilité rappelle celle des LLM en NLP, mais avec une efficacité computationnelle supérieure à l'entraînement.
- En robotique, V-JEPA 2 ouvre une piste vers des agents qui planifient leurs actions. Le modèle construit une représentation interne de la scène physique, simule mentalement l'effet d'une action, et choisit la séquence d'actions qui mène à l'objectif. L'agent accomplit des tâches de préhension et de déplacement d'objets dans des environnements qu'il n'a jamais vus pendant l'entraînement.
Ces capacités découlent directement du fait que JEPA apprend un modèle du monde, et non une fonction de génération.
Sources
- Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture (I-JEPA) : l'article de recherche fondateur pour les images.
- V-JEPA 2 - Meta AI : présentation officielle du modèle vidéo et de ses capacités robotiques.
- A Guided Tour of the Joint-Embedding Predictive Architecture : explication technique de l'architecture.
- Deep Dive into Yann LeCun's JEPA : analyse détaillée de la vision de LeCun et des différentes variantes.
Qu'est-ce que l'architecture JEPA ?
JEPA (Joint-Embedding Predictive Architecture) est une architecture d'apprentissage auto-supervisé qui prédit la représentation abstraite d'une partie masquée d'une entrée à partir de la partie visible, plutôt que de reconstruire l'entrée pixel par pixel ou token par token.
Qui a créé l'architecture JEPA ?
Yann LeCun, chercheur en IA et chief AI scientist chez Meta, a proposé l'architecture JEPA début 2022 dans un article intitulé A Path Towards Autonomous Machine Intelligence.
Quelle différence entre JEPA et un LLM ?
Un LLM prédit le prochain token de manière autoregressive, sans modèle interne du monde physique. JEPA prédit des représentations abstraites dans un espace latent, ce qui lui permet de développer une compréhension sémantique de son environnement et de planifier des actions.
Qu'est-ce qu'un modèle du monde en IA ?
Un modèle du monde est une représentation interne des lois physiques et des relations causales de l'environnement. Il permet à un agent de prédire les conséquences de ses actions, d'apprendre rapidement de nouvelles tâches et d'éviter des comportements absurdes.
À quoi servent I-JEPA et V-JEPA ?
I-JEPA applique l'architecture JEPA aux images statiques pour l'apprentissage de représentations visuelles. V-JEPA l'étend aux vidéos, permettant au modèle de prédire des trames futures et de planifier des actions robotiques dans des environnements non vus lors de l'entraînement.
