RecherchearXiv cs.RO 18 septembre 2026

MoWAM : prédiction explicite du mouvement futur pour des modèles monde-action efficaces

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un nouveau papier de recherche publié sur arXiv (référence 2609.20709v1) présente MoWAM, un modèle d'action du monde, ou World Action Model (WAM), destiné à l'apprentissage de politiques robotiques pour la manipulation. Contrairement aux WAM classiques qui génèrent explicitement des vidéos du futur pendant l'inférence pour anticiper la dynamique de l'environnement, ce qui alourdit considérablement le calcul, MoWAM remplace cette génération vidéo par une prédiction explicite du mouvement futur du robot. Le système repose sur une architecture Mixture-of-Transformer qui apprend la dynamique visuelle future pendant l'entraînement tout en prédisant conjointement mouvement et action, ce qui permet de supprimer entièrement la génération vidéo au moment de l'inférence tout en conservant une représentation explicite du futur. Les auteurs ont évalué le modèle sur les bancs d'essai de simulation LIBERO et LIBERO-Plus ainsi que sur des tâches de manipulation en conditions réelles.

Le papier s'attaque à un compromis classique du secteur: retirer la génération vidéo future accélère l'inférence, mais risque de ne laisser la dynamique future qu'implicitement encodée dans les caractéristiques d'observation, ce qui fragilise les politiques face aux changements de distribution, un problème central pour tout intégrateur déployant un robot hors du cadre exact de son entraînement. En modélisant le mouvement comme une abstraction compacte du futur, MoWAM revendique une performance solide en distribution, une robustesse accrue hors distribution, et un taux de succès moyen supérieur en conditions réelles face à des WAM de référence. Point notable pour la mise à l'échelle au moment de l'inférence: la représentation compacte du mouvement permet d'échantillonner plusieurs candidats de paires mouvement-action et de les départager via un vérificateur de progression de tâche, avec des gains de performance croissants à mesure que davantage de candidats sont explorés, un signal que l'inférence-time scaling, déjà exploité pour les grands modèles de langage, commence à trouver une traduction concrète en robotique manipulatrice.

MoWAM s'inscrit dans la lignée des World Action Models, qui enrichissent l'apprentissage de politiques robotiques d'une anticipation de la dynamique future, en complément des approches vision-langage-action plus directes. Il s'agit ici d'une contribution de recherche évaluée sur des bancs d'essai standards et un nombre limité de tâches réelles, sans acteur industriel, calendrier de déploiement, coûts ni volumes annoncés. L'argument central, à savoir qu'une modélisation explicite mais compacte du mouvement futur peut remplacer la coûteuse génération vidéo sans sacrifier la robustesse, mérite d'être suivi à mesure que des équipes tenteront de le reproduire sur des politiques robotiques destinées à la production plutôt qu'à la démonstration.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

DreamWAM : au-delà de la prédiction RGB pour les modèles d'action du monde

Des chercheurs du laboratoire HUST-VL publient DreamWAM, un modèle monde-action (World Action Model) pour l'apprentissage de politiques robotiques, détaillé dans un article arXiv (2608.04996v1) avec code et modèles publiés sur GitHub. Contrairement à la plupart des WAM, qui prédisent le futur de la scène uniquement en RGB et mélangent ainsi les changements pertinents pour la tâche avec du bruit de texture, d'éclairage ou de point de vue, DreamWAM représente l'état futur sous plusieurs formes complémentaires (apparence, mouvement, géométrie, sémantique). Le modèle combine un débruitage latent conjoint RGB et mouvement avec des branches résiduelles légères pour la géométrie et la sémantique, entraînées via une attention partagée entre les modules VideoDiT et ActionDiT ; ces branches supplémentaires sont désactivées à l'inférence, qui reste purement RGB. Sur le benchmark LIBERO, le taux de réussite passe de 97,30% à 98,40% en inférence sans rollout et de 98,00% à 98,90% en inférence conjointe vidéo-action. Sous les perturbations inédites de LIBERO-Plus, les gains grimpent nettement, de 51,36% à 63,44% et de 69,16% à 75,47%. En manipulation robotique réelle, avec des changements non vus d'éclairage, de fond et de disposition des objets, DreamWAM atteint 74,4% de réussite moyenne, contre 55,6% pour la référence Fast-WAM-Joint. Ce travail pointe un problème bien connu des modèles vision-langage-action: des gains mesurés sur bancs d'essai standards qui s'effondrent dès que l'environnement change légèrement, cet écart entre démonstration et réalité freinant le déploiement industriel des bras manipulateurs et robots humanoïdes. En montrant que des gains modestes en conditions contrôlées, de l'ordre d'un point de pourcentage, se transforment en écarts de dix à vingt points sous perturbation, DreamWAM suggère que la robustesse d'une politique ne dépend pas seulement de la qualité de la prédiction du futur, mais de la forme sous laquelle ce futur est représenté pendant l'entraînement. Pour les équipes de R&D robotique, l'intérêt pratique est que cette supervision multi-vues n'ajoute aucun coût au déploiement puisque les branches concernées sont coupées à l'inférence: la robustesse s'acquiert à l'entraînement, sans alourdir le système embarqué. Ce travail s'inscrit dans une recherche qui cherche à dépasser l'imitation pure en dotant les politiques robotiques d'un modèle du monde capable d'anticiper les conséquences d'une action avant son exécution. DreamWAM se positionne explicitement face à Fast-WAM-Joint, utilisé comme référence RGB pure dans les comparaisons de l'article. Contrairement à une annonce produit ou une démonstration de plateforme humanoïde, il s'agit d'une publication académique évaluée en simulation (LIBERO, LIBERO-Plus) et sur un nombre limité de tâches de manipulation réelle, sans déploiement industriel ni calendrier commercial annoncé. Code et modèles étant publiés en accès libre, la suite logique sera de voir si d'autres équipes reproduisent ces gains de robustesse sur des politiques VLA plus larges ou des tâches de manipulation plus complexes que celles testées ici.

RechercheOpinion

1 source

2arXiv cs.RO

Apprentissage d'a priori géométriques 4D pour des modèles d'action du monde efficaces en inférence

Des chercheurs publient MECo-WAM (Multi-Expert Co-Training World Action Model), une nouvelle architecture de "World Action Model" (WAM) conçue pour la manipulation robotique, décrite dans un papier référence arXiv:2607.05468v1. L'idée est d'injecter des a priori géométriques 4D dans les représentations vidéo-action pendant l'entrainement, sans alourdir le graphe d'inférence au moment du déploiement. Le système combine trois experts durant l'entrainement : un expert vidéo, un expert action, et un expert 4D léger supervise par des cibles relationnelles issues d'un encodeur VGGT gelé. Une visibilité asymétrique entre experts empêche les raccourcis non causaux entre géométrie auxiliaire et génération d'actions. Deux mécanismes assurent le transfert des connaissances géométriques vers le chemin vidéo-action réellement déployé : une attention a masque de lecture 4D a décroissance progressive, qui fournit un guidage géométrique restreint en début d'entrainement puis le retire par étapes, et une distillation géométrique temporelle orientée action, qui aligne les relations géométriques intra-image et leur évolution en priorisant les zones visuelles pertinentes pour l'action du robot. Au déploiement, tous les composants 4D auxiliaires sont supprimes. Sur les benchmarks LIBERO et RoboTwin 2.0, le modèle atteint respectivement 98,2% et 92,6% de réussite, avec des gains confirmes sur des taches de manipulation réelles. Ce travail cible une limite connue des WAMs actuels : l'entrainement conjoint vidéo-action optimise généralement des latents orientes apparence, qui capturent mal la géométrie évolutive nécessaire a une manipulation précise. En montrant qu'un gain de précision est possible sans surcout d'inférence, MECo-WAM répond a une tension centrale pour les intégrateurs et les équipes de recherche appliquée : les modèles VLA (vision-language-action) les plus performants deviennent souvent trop lourds pour un déploiement temps réel embarque. La méthode illustre une tendance de fond dans la recherche en manipulation robotique, celle de déporter la complexité géométrique et multimodale vers la phase d'entrainement pour ne conserver au runtime qu'un pipeline léger, une piste directement pertinente pour les fabricants de bras robotiques et de systèmes AMR qui cherchent a industrialiser des politiques apprises. MECo-WAM s'inscrit dans la lignée des World Action Models qui cherchent a unifier prédiction vidéo future et génération de séquences d'actions exécutables, une approche déjà explorée par des architectures VLA comme Pi-0 ou GR00T N2. La référence a VGGT, encodeur de géométrie 4D reconnu en vision par ordinateur, situe le papier a l'intersection de la reconstruction 3D/4D et de l'apprentissage de politiques robotiques. Les auteurs évaluent leur approche sur deux benchmarks de simulation standards, LIBERO et RoboTwin 2.0, ainsi que sur des taches réelles, mais ne donnent pour l'instant aucun calendrier de déploiement industriel ni de partenariat avec des intégrateurs : le travail reste, a ce stade, une contribution de recherche publiée sur arXiv.

RecherchePaper

1 source

3arXiv cs.RO

WholeBodyWAM : des modèles d'action du monde pour le corps entier avec des a priori de mouvement évolutifs

Un article déposé sur arXiv (2609.18197v1) présente WholeBodyWAM, un modèle "world-action" pour la manipulation corps entier des robots humanoïdes. Le constat de départ : les trajectoires corps-entier propres à un robot cible sont coûteuses à collecter et peu scalables, alors que le mouvement humain et humanoïde existe en abondance sans pouvoir servir directement d'action robotique faute de correspondance d'embodiment. Les auteurs ont constitué UniMotion-4K, un corpus de plus de 4000 heures issu de vidéos humaines, de jeux de données 3D natifs et de plateformes humanoïdes hétérogènes, unifiés dans un espace de mouvement commun. Un "Motion Expert" conditionné par le langage y est pré-entraîné à prédire le mouvement futur du corps entier sans supervision d'action robot, puis combiné en post-entraînement à un Video Expert et un Action Expert via une attention asymétrique de type Mixture-of-Transformers (MoT). Ce travail cible un goulot d'étranglement connu du secteur : le coût et la rareté des données de téléopération spécifiques à chaque plateforme, qui freinent le passage à l'échelle des modèles vision-langage-action (VLA). Les auteurs rapportent une amélioration continue de la prédiction de mouvement futur et des tâches en aval à mesure que le volume de pré-entraînement sur le mouvement augmente, avec un transfert effectif vers des tâches de manipulation réelle sur humanoïde. Point notable pour les intégrateurs et décideurs B2B : le gain d'efficacité des données est le plus marqué quand les démonstrations sur le robot cible sont limitées, ce qui pointe vers une réduction possible du volume de données réelles nécessaire pour déployer un nouvel humanoïde sur une tâche donnée. Il s'agit d'un article de recherche, sans entreprise ni déploiement commercial identifié dans le résumé : les expériences restent en environnement contrôlé, loin d'un produit livré ou d'un pilote industriel annoncé. La démarche s'inscrit dans une tendance plus large du secteur, qui cherche à séparer l'apprentissage de la dynamique physique générale, à partir de vidéos et de mouvements massifs, de l'apprentissage de l'action spécifique à un robot donné, une logique proche de celle des modèles VLA commerciaux comme Pi-0 ou GR00T N2. L'abstract ne mentionne ni date de mise en production ni partenaire industriel, seulement la démonstration de la transférabilité du prior de mouvement appris et de son bénéfice en contexte de données limitées.

RechercheActu

1 source

4arXiv cs.RO

Modèle du monde ancré : alignements latents prédictifs pour l'action (LeapBot-WA)

Une équipe de recherche a publié sur arXiv (référence 2607.23969v1) LeapBot-WA, un nouveau modèle de type World Action Model (WAM) pour le contrôle robotique. Contrairement aux WAM classiques qui génèrent des vidéos pixel par pixel pour prédire l'évolution d'une scène, ce qui gaspille de la capacité de calcul sur des détails visuels sans intérêt pour la tâche et rend les politiques vulnérables aux distracteurs visuels, LeapBot-WA adopte une architecture "Predictive-Latent" en s'appuyant sur le Joint-Embedding Predictive Architecture (JEPA), utilisé comme "ancre du monde" (World-Anchor). Le système prédit la dynamique physique directement dans un espace latent abstrait plutôt que de reconstruire des images. Pour relier cet espace latent aux modèles de diffusion, les auteurs introduisent un Isotropic Semantic Autoencoder (ISAE), qui remodèle l'espace latent pour éviter les dérives hors variété. L'architecture repose aussi sur un Mixture-of-Transformers asymétrique : un Anchor Diffusion Transformer guide l'entraînement d'un Action Diffusion Transformer, puis est retiré à l'inférence pour ne conserver aucun surcoût de calcul. Sur les benchmarks LIBERO et RoboTwin 2.0, LeapBot-WA atteint l'état de l'art parmi les modèles prédictifs et rivalise avec les meilleurs WAM génératifs, sans pré-entraînement massif sur trajectoires. Le code est disponible sur GitHub (LeapWM/leapbot-wa). Pour l'industrie robotique, ce résultat questionne un présupposé répandu : que la génération vidéo pixel par pixel est nécessaire pour qu'un modèle de monde capture une dynamique physique exploitable. En montrant qu'un espace latent compact suffit à égaler des générateurs vidéo lourds, tout en gagnant en robustesse zero-shot face à des environnements inédits et en démontrant un transfert réel sur robot physique, LeapBot-WA plaide pour des architectures VLA plus légères et déployables, un enjeu concret pour les intégrateurs cherchant à réduire la latence d'inférence en production plutôt qu'en démonstration. Le travail s'inscrit dans la filiation du JEPA popularisé par les travaux de Yann LeCun sur l'apprentissage auto-supervisé non génératif, appliqué ici pour la première fois comme socle central d'un WAM plutôt que comme simple module auxiliaire. Il se positionne face aux générateurs vidéo dominants du secteur (type Pi-0, GR00T N2 ou Helix) qui misent sur la synthèse pixel. Les auteurs annoncent la publication du code mais ne mentionnent pas encore de partenariat industriel ni de calendrier de déploiement commercial.

RechercheActu

1 source