RecherchearXiv cs.RO 18 septembre 2026

MoWAM : prédiction explicite du mouvement futur pour des modèles monde-action efficaces

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un nouveau papier de recherche publié sur arXiv (référence 2609.20709v1) présente MoWAM, un modèle d'action du monde, ou World Action Model (WAM), destiné à l'apprentissage de politiques robotiques pour la manipulation. Contrairement aux WAM classiques qui génèrent explicitement des vidéos du futur pendant l'inférence pour anticiper la dynamique de l'environnement, ce qui alourdit considérablement le calcul, MoWAM remplace cette génération vidéo par une prédiction explicite du mouvement futur du robot. Le système repose sur une architecture Mixture-of-Transformer qui apprend la dynamique visuelle future pendant l'entraînement tout en prédisant conjointement mouvement et action, ce qui permet de supprimer entièrement la génération vidéo au moment de l'inférence tout en conservant une représentation explicite du futur. Les auteurs ont évalué le modèle sur les bancs d'essai de simulation LIBERO et LIBERO-Plus ainsi que sur des tâches de manipulation en conditions réelles.

Le papier s'attaque à un compromis classique du secteur: retirer la génération vidéo future accélère l'inférence, mais risque de ne laisser la dynamique future qu'implicitement encodée dans les caractéristiques d'observation, ce qui fragilise les politiques face aux changements de distribution, un problème central pour tout intégrateur déployant un robot hors du cadre exact de son entraînement. En modélisant le mouvement comme une abstraction compacte du futur, MoWAM revendique une performance solide en distribution, une robustesse accrue hors distribution, et un taux de succès moyen supérieur en conditions réelles face à des WAM de référence. Point notable pour la mise à l'échelle au moment de l'inférence: la représentation compacte du mouvement permet d'échantillonner plusieurs candidats de paires mouvement-action et de les départager via un vérificateur de progression de tâche, avec des gains de performance croissants à mesure que davantage de candidats sont explorés, un signal que l'inférence-time scaling, déjà exploité pour les grands modèles de langage, commence à trouver une traduction concrète en robotique manipulatrice.

MoWAM s'inscrit dans la lignée des World Action Models, qui enrichissent l'apprentissage de politiques robotiques d'une anticipation de la dynamique future, en complément des approches vision-langage-action plus directes. Il s'agit ici d'une contribution de recherche évaluée sur des bancs d'essai standards et un nombre limité de tâches réelles, sans acteur industriel, calendrier de déploiement, coûts ni volumes annoncés. L'argument central, à savoir qu'une modélisation explicite mais compacte du mouvement futur peut remplacer la coûteuse génération vidéo sans sacrifier la robustesse, mérite d'être suivi à mesure que des équipes tenteront de le reproduire sur des politiques robotiques destinées à la production plutôt qu'à la démonstration.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Trace-WAM : apprendre à agir par la prédiction de mouvement 3D pour les modèles d'action du monde

Des chercheurs proposent Trace-WAM, une architecture de World Action Model (WAM) publiée en préprint sur arXiv. Un WAM apprend à piloter un robot en couplant la prédiction de vidéo future et la génération d'actions. Trace-WAM ajoute à cet apprentissage un objectif auxiliaire: prédire le mouvement 3D futur de points suivis dans la scène. Cette supervision combine la correspondance temporelle des points, leur déplacement dans le plan image et leur variation de profondeur. L'ensemble repose sur une architecture à trois branches de type Mixture-of-Transformer (Tri-MoT), qui entraîne conjointement un expert vidéo, un expert mouvement et un expert action. L'expert mouvement prédit les trajectoires à partir des features visuelles courantes, et l'expert action ne consomme pas ces trajectoires prédites. À l'inférence, le système garde donc un chemin de politique classique: une seule passe visuelle, suivie du débruitage de l'action. Les tests portent sur RoboCasa-GR1, LIBERO et LIBERO-Plus, avec de bons résultats annoncés en distribution et en généralisation hors distribution, surtout face à Fast-WAM quand les démonstrations sont rares ou que la distribution change. L'intérêt tient à l'argument central: pour manipuler, il faut surtout savoir comment évoluent le robot et les objets pertinents, pas reconstruire l'apparence et l'arrière-plan de toute la scène. Si cela se confirme, on pourrait obtenir des représentations plus utiles pour l'action sans alourdir l'inférence, ce qui compte pour la latence en production. Le gain annoncé en régime de peu de démonstrations parle aux intégrateurs, car la collecte de données reste le principal coût de déploiement. Il faut toutefois rester prudent: le résumé ne donne aucun chiffre, et les évaluations semblent limitées à des benchmarks simulés, sans test sur robot réel ni mesure de temps de cycle. Trace-WAM s'inscrit dans le passage des VLA (vision-language-action) vers des modèles qui intègrent une prédiction du monde, avec Fast-WAM comme point de comparaison direct. RoboCasa-GR1 évalue des tâches de type humanoïde en simulation, tandis que LIBERO-Plus teste la robustesse aux perturbations. La suite logique serait une validation sur matériel réel et une comparaison avec les grandes politiques généralistes actuelles, ce que le préprint n'annonce pas.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

DreamWAM : au-delà de la prédiction RGB pour les modèles d'action du monde

Des chercheurs du laboratoire HUST-VL publient DreamWAM, un modèle monde-action (World Action Model) pour l'apprentissage de politiques robotiques, détaillé dans un article arXiv (2608.04996v1) avec code et modèles publiés sur GitHub. Contrairement à la plupart des WAM, qui prédisent le futur de la scène uniquement en RGB et mélangent ainsi les changements pertinents pour la tâche avec du bruit de texture, d'éclairage ou de point de vue, DreamWAM représente l'état futur sous plusieurs formes complémentaires (apparence, mouvement, géométrie, sémantique). Le modèle combine un débruitage latent conjoint RGB et mouvement avec des branches résiduelles légères pour la géométrie et la sémantique, entraînées via une attention partagée entre les modules VideoDiT et ActionDiT ; ces branches supplémentaires sont désactivées à l'inférence, qui reste purement RGB. Sur le benchmark LIBERO, le taux de réussite passe de 97,30% à 98,40% en inférence sans rollout et de 98,00% à 98,90% en inférence conjointe vidéo-action. Sous les perturbations inédites de LIBERO-Plus, les gains grimpent nettement, de 51,36% à 63,44% et de 69,16% à 75,47%. En manipulation robotique réelle, avec des changements non vus d'éclairage, de fond et de disposition des objets, DreamWAM atteint 74,4% de réussite moyenne, contre 55,6% pour la référence Fast-WAM-Joint. Ce travail pointe un problème bien connu des modèles vision-langage-action: des gains mesurés sur bancs d'essai standards qui s'effondrent dès que l'environnement change légèrement, cet écart entre démonstration et réalité freinant le déploiement industriel des bras manipulateurs et robots humanoïdes. En montrant que des gains modestes en conditions contrôlées, de l'ordre d'un point de pourcentage, se transforment en écarts de dix à vingt points sous perturbation, DreamWAM suggère que la robustesse d'une politique ne dépend pas seulement de la qualité de la prédiction du futur, mais de la forme sous laquelle ce futur est représenté pendant l'entraînement. Pour les équipes de R&D robotique, l'intérêt pratique est que cette supervision multi-vues n'ajoute aucun coût au déploiement puisque les branches concernées sont coupées à l'inférence: la robustesse s'acquiert à l'entraînement, sans alourdir le système embarqué. Ce travail s'inscrit dans une recherche qui cherche à dépasser l'imitation pure en dotant les politiques robotiques d'un modèle du monde capable d'anticiper les conséquences d'une action avant son exécution. DreamWAM se positionne explicitement face à Fast-WAM-Joint, utilisé comme référence RGB pure dans les comparaisons de l'article. Contrairement à une annonce produit ou une démonstration de plateforme humanoïde, il s'agit d'une publication académique évaluée en simulation (LIBERO, LIBERO-Plus) et sur un nombre limité de tâches de manipulation réelle, sans déploiement industriel ni calendrier commercial annoncé. Code et modèles étant publiés en accès libre, la suite logique sera de voir si d'autres équipes reproduisent ces gains de robustesse sur des politiques VLA plus larges ou des tâches de manipulation plus complexes que celles testées ici.

RechercheOpinion

1 source

3arXiv cs.RO

Élagage complémentaire des jetons futurs pour les modèles d'action du monde

Des chercheurs proposent CF-Prune, un cadre d'élagage sans réentraînement conçu pour les « world action models » (WAMs) préentraînés. Ces modèles prédisent conjointement les états visuels futurs et les actions du robot, mais le traitement de tokens denses issus des images futures alourdit fortement la latence d'inférence. CF-Prune supprime une partie de ces tokens en combinant l'attention portée à l'instruction et celle portée aux actions, afin d'identifier les tokens utiles à la tâche dès la première passe de débruitage, alors même que les représentations des images futures et des actions restent très bruitées. Un mécanisme d'identification de phases fondé sur l'entropie rétablit un calcul dense pendant les phases de précision, pour limiter la dégradation due à l'élagage. Les tests couvrent les benchmarks de simulation RoboLab et RoboCasa ainsi que des tâches de manipulation réelles. Avec 35 % de tokens élagués, l'accélération moyenne atteint 1,19 à 1,27x, avec des taux de réussite en hausse. À 50 %, elle monte à 1,29-1,33x sur les deux benchmarks simulés, avec un taux de réussite global à moins d'un point de pourcentage de la référence. L'enjeu est la latence de boucle de contrôle, un frein concret au déploiement des modèles de fondation robotiques. Les WAMs offrent une meilleure compréhension de la dynamique physique que les VLA classiques (modèles vision-langage-action), mais prédire des vidéos futures coûte cher en calcul embarqué. L'idée centrale, selon laquelle les prédictions visuelles servent l'action et n'ont pas besoin de la fidélité requise pour la synthèse vidéo, montre qu'une part importante du calcul est redondante. Pour un intégrateur ou un responsable industriel, cela signifie qu'on peut gagner en fréquence de contrôle sans réentraîner ni changer de matériel, ce qui réduit le coût d'adaptation. Les gains restent toutefois modestes : environ un tiers de temps en moins au mieux, ce qui ne change pas l'ordre de grandeur de la latence. Le résumé ne précise ni la taille des modèles testés, ni les plateformes matérielles, ni l'ampleur des essais réels. Ces chiffres sont des moyennes en simulation et ne garantissent pas la robustesse en production. Ce travail s'inscrit dans la vague de recherches sur les modèles combinant génération vidéo et politique d'action, qui cherchent à hériter des connaissances physiques des modèles vidéo préentraînés. Il prolonge aussi les méthodes d'élagage de tokens issues des transformeurs de vision et des VLA, ici adaptées à une structure où les tokens futurs et les actions sont débruités ensemble, comme dans les modèles à diffusion. Il s'agit d'une prépublication arXiv (v1), non évaluée par des pairs, sans produit commercial ni déploiement annoncé. La suite logique sera de vérifier si l'approche tient sur des WAMs plus grands, sur du calcul embarqué et sur des tâches longues, et si elle se combine avec d'autres techniques d'accélération comme la distillation ou la quantification.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

MiniWAM : apprendre des cibles futures compactes pour une modélisation monde-action efficace

Des chercheurs présentent MiniWAM, un modèle « monde-action » (World Action Model, ou WAM) de 0,25 milliard de paramètres. Il prédit conjointement les actions d'un robot et une représentation compacte de l'état futur, au lieu des caractéristiques visuelles natives d'un encodeur pré-entraîné. Les WAM actuels prédisent généralement l'avenir dans l'espace de représentation de ces encodeurs, ce qui donne des cibles de grande dimension et coûteuses à entraîner. MiniWAM réduit le nombre de tokens de caractéristiques futures de 65 fois par rapport à une prédiction native, avec DINOv3 comme avec le VAE de WAN2.1. Les auteurs annoncent aussi un entraînement jusqu'à 8 fois plus rapide. Ces cibles compactes viennent d'un encodeur baptisé PRISM (Predictive Representations via Inverse Spatiotemporal Modeling). Il est appris sur des transitions privilégiées entre l'état courant et l'état futur. Il combine une supervision par dynamique inverse, qui cherche à retrouver l'action ayant produit la transition, et une reconstruction des caractéristiques. Une fois PRISM gelé, MiniWAM apprend à prédire ces cibles et les actions à partir des seules observations courantes. Les résultats sont donnés sur les benchmarks de simulation LIBERO, LIBERO-Plus et RoboTwin 2.0. Selon les auteurs, MiniWAM y surpasse systématiquement la prédiction de caractéristiques natives et reste compétitif face à des WAM nettement plus gros. Pour les équipes qui entraînent des politiques robotiques, le résultat est surtout économique. L'hypothèse implicite de nombreux WAM veut que le co-entraînement par prédiction du futur exige de reconstruire ou prédire des représentations visuelles riches, donc de gros budgets de calcul. Ici, une cible bien choisie, qui retient l'information utile au contrôle plutôt que les détails de pixels ou de textures, donne de meilleurs résultats pour beaucoup moins de calcul. L'analyse des représentations va dans le même sens : PRISM apporterait une structure comportementale que la seule reconstruction de caractéristiques n'apporte pas. Une précaution s'impose. Toutes les évaluations citées sont en simulation, et rien n'indique de transfert sur robot réel, de temps de cycle ou de déploiement. Le taux de réussite sur des benchmarks déjà bien étudiés ne dit pas non plus comment la méthode se comporte en environnement non structuré. Le gain de 8 fois porte sur l'entraînement du modèle monde-action, pas sur la latence d'inférence. Ces travaux s'inscrivent dans la montée des WAM, qui ont fait du modèle du monde un objectif de co-entraînement pour les politiques vision-langage-action (VLA). Cette approche concurrence les VLA purement réactifs, qui ne prédisent que l'action. Les WAM plus lourds restent la référence de comparaison, avec des dizaines de fois plus de paramètres. À 0,25B, MiniWAM vise un créneau plus accessible aux laboratoires universitaires et aux équipes à budget GPU limité. Le papier est une prépublication arXiv (v1), non relue par des pairs, et une page de projet accompagne le travail. La suite logique serait une validation sur matériel réel et une comparaison avec des politiques déjà déployées. Sans ces tests, l'efficacité observée en simulation ne garantit pas encore une valeur industrielle.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source