Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
IA physiquearXiv cs.RO 

JEPA-WAM : relier instructions visuelles générées aux modèles d'action du monde via les représentations latentes JEPA

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (2609.20277v1) JEPA-WAM, un système qui améliore les World Action Models (WAM), ces architectures de manipulation robotique combinant modèles génératifs vidéo pré-entraînés et experts d'action. Le constat de départ : les WAM actuels suivent mal les instructions textuelles seules, car les données d'apprentissage associent des trajectoires riches à des annotations linguistiques pauvres et répétitives, ce qui pousse les modèles à reconnaître la tâche par le contexte visuel plutôt que par l'instruction elle-même. JEPA-WAM génère pour chaque instruction une banque d'images de "tâche accomplie" via un générateur texte-image du commerce non ré-entraîné, encodées par un modèle V-JEPA 2.1 figé puis compressées en tokens d'objectif qui conditionnent, par cross-attention, les experts vidéo et action. Sur un benchmark robotique réel couvrant des cas en distribution, des scènes hors distribution et des instructions hors distribution, JEPA-WAM atteint 87,3%, 74,5% et 80,9% de réussite, dépassant Pi-0 et Fast-WAM d'au moins 10, 27,3 et 14,5 points selon les cas.

Ce travail cible un point de friction central des modèles vision-langage-action : la capacité à réellement comprendre une instruction plutôt qu'à reconnaître une tâche par des raccourcis visuels appris à l'entraînement, biais fréquent quand les données combinent peu de variété linguistique et beaucoup de répétition. Pour les équipes qui déploient des bras manipulateurs en logistique ou en usine, un robot capable de généraliser à des scènes ou formulations inédites demande moins de reprogrammation et de données spécifiques par tâche. L'écart entre le taux en distribution (87,3%) et les taux hors distribution (74,5% et 80,9%) montre toutefois que la généralisation reste un problème réel, même si JEPA-WAM le réduit nettement face aux références testées.

La méthode s'inscrit dans la lignée des WAM, qui augmentent des générateurs vidéo pré-entraînés avec des têtes d'action pour piloter des robots, approche déjà incarnée dans l'écosystème vision-langage-action par des modèles comme Pi-0. JEPA-WAM se positionne explicitement face à Pi-0 et Fast-WAM comme références sur son propre benchmark. Il s'agit à ce stade d'une publication de recherche en preprint sur arXiv, sans nom d'entreprise, de produit commercial ni de déploiement industriel associé : aucun calendrier de mise en œuvre n'est communiqué, et la méthode reste à valider par la communauté et sur des plateformes robotiques plus variées.

Dans nos dossiers

IA physique & VLAManipulation robotiquearXiv cs.RO

À lire aussi

GesVLA : représentations gestuelles intégrées pour un modèle vision-langage-action
1arXiv cs.RO 

GesVLA : représentations gestuelles intégrées pour un modèle vision-langage-action

Des chercheurs ont publié GesVLA, un modèle Vision-Language-Action augmenté d'une modalité gestuelle, dans un preprint arXiv soumis en mai 2026 (arXiv:2605.22812). L'architecture repose sur un double VLM (Vision-Language Model) qui encode les features gestuelles directement dans l'espace latent, permettant aux gestes pointés de la main de participer à la fois au raisonnement de haut niveau et à la génération d'actions motrices. Pour l'entraînement, l'équipe a construit un pipeline de génération de données synthétiques en rendant des modèles 3D de mains sur des images de scènes réelles, produisant des annotations de pointage variées tout en réduisant le sim-to-real gap visuel. Le modèle a été évalué sur plusieurs tâches physiques réelles : manipulation contrôlée de blocs et sélection de produits dans des environnements encombrés. Les expériences montrent une amélioration mesurée de la précision de grounding cible et de l'efficacité de l'interaction humain-robot, particulièrement dans des scènes complexes avec objets similaires. L'apport principal de GesVLA est d'adresser une faiblesse connue des VLA actuels : l'ambiguïté spatiale. Quand plusieurs objets similaires sont présents dans la scène, une instruction textuelle seule (type "prends la bouteille") reste ambiguë. Intégrer le geste de pointage comme modalité parallèle au texte offre un ancrage spatial explicite sans modifier l'interface verbale. L'architecture dual-VLM représente un choix architectural non trivial par rapport aux approches qui traitent les modalités de façon séquentielle. Ce n'est pas la première tentative d'incorporer des signaux humains dans les VLA, mais la formalisation du geste comme modalité de premier rang dans l'espace latent, plutôt qu'en post-processing, est une contribution d'architecture à surveiller pour les intégrateurs qui déploient des cobots en environnements de picking désordonnés. GesVLA s'inscrit dans la vague de recherche post-RT-2 et pi-0 qui cherche à rendre les VLA robustes au-delà du régime de laboratoire. Les modèles concurrents comme OpenVLA (Berkeley), Octo ou RoboFlamingo travaillent essentiellement avec du texte et de la vision, sans modalité gestuelle native. Physical Intelligence (pi) avec pi-0 et Google DeepMind avec RT-2/RT-X restent les références industrielles sur la généralisation des VLA à grande échelle. Le preprint ne mentionne pas de partenariat industriel ni de timeline de déploiement commercial. Les prochaines étapes naturelles seraient une évaluation sur des benchmarks standardisés (LIBERO, Calvin) pour permettre des comparaisons directes, et une intégration sur des plateformes comme Franka ou UR5 au-delà des configurations de démonstration présentées.

IA physiqueOpinion
1 source
Modèle MVP-LAM : apprentissage de représentations d'actions latentes centrées sur l'action par reconstruction multi-points de vue
2arXiv cs.RO 

Modèle MVP-LAM : apprentissage de représentations d'actions latentes centrées sur l'action par reconstruction multi-points de vue

Une équipe de chercheurs a publié MVP-LAM (Multi-ViewPoint Latent Action Model), une méthode visant à améliorer le pré-entraînement des modèles vision-langage-action (VLA) à partir de vidéos humaines non étiquetées. Le problème ciblé : les actions latentes apprises depuis des vidéos mono-vue encodent des indices visuels propres à l'angle de caméra, plutôt que la sémantique réelle du mouvement. MVP-LAM impose un objectif de reconstruction inter-vues (cross-viewpoint reconstruction) : une action latente extraite depuis une caméra doit prédire l'évolution de la scène telle que vue depuis une autre caméra. Évalué sur le jeu de données Bridge V2, le modèle produit des actions latentes dont l'information mutuelle avec les vraies actions de référence dépasse celle des baselines, y compris en conditions hors-distribution. Ces représentations améliorées se traduisent par de meilleures performances de manipulation en aval sur plusieurs benchmarks standards. Le code et les checkpoints entraînés sont disponibles publiquement. La contrainte géométrique multi-vues a un impact direct pour les intégrateurs : un modèle pré-entraîné sur des actions latentes robustes au changement de point de vue devrait mieux résister au gap entre démonstration et déploiement réel, notamment dans des cellules robotiques où la position des caméras diffère entre collecte de données et production. MVP-LAM valide aussi l'usage de larges corpus vidéo non supervisés (vidéos internet, archives industrielles) sans démonstrations téléopérées : la cohérence inter-vues remplace partiellement le signal proprioceptif, réduisant le coût de collecte des données d'entraînement. Le pré-entraînement VLA depuis des vidéos non annotées s'inscrit dans la continuité de travaux comme RT-2 (Google DeepMind), UniPi, et plus récemment pi-0 (Physical Intelligence) ou OpenVLA. Ces approches partagent l'ambition d'exploiter des données vidéo à grande échelle pour doter les robots d'une compréhension généraliste du mouvement avant fine-tuning sur tâches spécifiques. MVP-LAM apporte une contribution méthodologique en renforçant la qualité des pseudo-labels d'action, une étape souvent négligée au profit de l'architecture des modèles aval. Il s'agit d'un travail académique sans déploiement industriel annoncé, mais dont la disponibilité du code facilite la reproduction et l'adaptation sur d'autres plateformes robotiques.

IA physiqueOpinion
1 source
Action QFormer : structuration des représentations guidée par la supervision des actions dans les modèles vision-langage-action
3arXiv cs.RO 

Action QFormer : structuration des représentations guidée par la supervision des actions dans les modèles vision-langage-action

Des chercheurs publient sur arXiv (2607.14635v1) une étude sur les modèles vision-langage-action (VLA), remettant en question la manière dont la supervision par action est utilisée pour entraîner ces systèmes. Traditionnellement traitée comme un simple objectif d'apprentissage en aval pour prédire les actions, cette supervision agit en réalité comme une force qui remodèle les représentations multimodales héritées des modèles vision-langage préentraînés. Les auteurs montrent que cet effet est double : il est indispensable pour construire des représentations compatibles avec l'action, mais lorsqu'il est appliqué trop directement sur le flux multimodal hérité, il déstabilise aussi les capacités de traitement du langage et d'ancrage des objets. Pour résoudre cette tension, l'équipe introduit Action QFormer, une interface à base de requêtes conditionnées par les instructions, qui réorganise les informations multimodales héritées en représentations orientées action avant la génération des commandes. En navigation zero-shot sim-to-real, cette architecture fait bondir le taux de réussite moyen des tâches en boucle fermée de 18,8% à 56,3%, la justesse de génération d'action à instruction fixe de 22,5% à 75,5%, et réduit quasiment à zéro les générations d'instructions hors distribution. Ce résultat touche un point sensible du secteur robotique : l'écart persistant entre démonstrations impressionnantes et performances réelles en conditions variables, souvent attribué au fossé sim-to-real. En multipliant par trois le taux de succès en navigation zero-shot, Action QFormer suggère que les gains de performance des VLA ne viendront pas uniquement de backbones préentraînés plus puissants, à la manière de Pi-0, GR00T N2 ou Helix, mais aussi de la façon dont l'information multimodale héritée est sélectionnée et organisée avant d'être exposée à la supervision par action. Pour les intégrateurs et équipes de recherche robotique, ce travail envoie un signal clair : le simple passage à l'échelle des données d'action ou le fine-tuning direct sur des architectures VLM existantes comporte un risque de dégradation silencieuse des capacités de compréhension du langage et de perception, un compromis rarement documenté dans les communications commerciales. Ce travail s'inscrit dans la lignée des modèles VLA apparus depuis RT-2 et OpenVLA, qui adaptent des architectures vision-langage préentraînées à la prédiction directe d'actions robotiques, approche depuis reprise par des laboratoires comme Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2 ou Figure AI avec Helix. La question de la préservation des capacités multimodales sous supervision d'action rejoint des préoccupations déjà observées ailleurs dans le secteur, où l'écart entre vidéos de démonstration sélectionnées et déploiement réel reste un sujet de vigilance éditoriale. Les auteurs positionnent Action QFormer comme une brique architecturale plutôt qu'un produit fini, validée pour l'instant sur des tâches de navigation en environnement simulé puis réel ; la suite logique serait son extension à des tâches de manipulation avec davantage de degrés de liberté, ainsi que sa validation sur des backbones VLA de plus grande échelle.

IA physiqueActu
1 source
IA généralisable par ancrage de représentation et alignement langage-action pour les modèles VLA
4arXiv cs.RO 

IA généralisable par ancrage de représentation et alignement langage-action pour les modèles VLA

Le laboratoire à l'origine de ce travail publie Anchor-Align, une méthode de finetuning pour les politiques vision-langage-action (VLA), décrite dans un article arXiv (2607.13429, juillet 2026, projet en ligne sur anchoralignvla.github.io). Le problème ciblé est concret : quand un modèle vision-langage préentraîné est affiné sur des démonstrations robotiques par clonage comportemental (behavior cloning), il perd progressivement les représentations qui lui permettaient de généraliser visuellement et sémantiquement. Le co-entraînement sur des données web texte-image, remède habituel, ne corrige pas le vrai défaut : les pertes de langage et d'action portent sur des observations différentes, ce qui laisse un désalignement langage-action invisible aux benchmarks de manipulation classiques. Anchor-Align ajoute deux objectifs d'entraînement, l'un qui distille les représentations couche par couche d'une copie figée du VLM d'origine, l'autre qui convertit chaque action cible en étiquette discrète de direction de mouvement pour entraîner conjointement langage et action sur la même observation robotique. Sur un bras robotique physique xArm7, avec deux architectures VLA largement utilisées, les taux de réussite passent de 28% à 54% pour l'une et de 37% à 60% pour l'autre. L'enjeu dépasse la seule courbe de performance : c'est une remise en cause d'un présupposé du secteur des VLA, celui du "plus de données de co-entraînement suffit" pour éviter l'oubli catastrophique. En montrant qu'il existe un désalignement structurel que les benchmarks de manipulation standards ne détectent pas, les auteurs pointent un angle mort méthodologique qui concerne tous les laboratoires construisant des politiques de type RT-2, OpenVLA, Pi-0 ou GR00T. Pour les équipes qui finetunent des VLA pour des tâches industrielles, le message est que préserver les représentations préentraînées et apprendre correctement l'action ne sont pas des objectifs contradictoires, contrairement à l'hypothèse implicite du compromis généralisation-performance. Il faut toutefois noter que la majorité des gains rapportés (LIBERO-PRO, LIBERO-Plus, CALVIN) proviennent de simulation, avec seulement deux architectures testées en conditions réelles sur un unique bras robotique, ce qui limite la portée immédiate pour un déploiement industriel à grande échelle. Le contexte est celui d'une course intense autour des modèles VLA depuis l'émergence de RT-2 puis des systèmes open source comme OpenVLA, où le clonage comportemental sur démonstrations téléopérées est devenu la recette standard malgré ses limites connues de généralisation. Anchor-Align se positionne comme une brique méthodologique plutôt qu'un produit ou un robot, sans annonce de partenariat industriel ni de calendrier de déploiement pour l'instant. La suite logique serait une validation sur davantage d'architectures et de plateformes physiques, ainsi qu'une comparaison directe avec les techniques de co-entraînement existantes utilisées par les acteurs commerciaux du secteur, pour voir si le gain se maintient à l'échelle des flottes industrielles réelles.

IA physiqueActu
1 source