Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

WholeBodyWAM : des modèles d'action du monde pour le corps entier avec des a priori de mouvement évolutifs

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un article déposé sur arXiv (2609.18197v1) présente WholeBodyWAM, un modèle "world-action" pour la manipulation corps entier des robots humanoïdes. Le constat de départ : les trajectoires corps-entier propres à un robot cible sont coûteuses à collecter et peu scalables, alors que le mouvement humain et humanoïde existe en abondance sans pouvoir servir directement d'action robotique faute de correspondance d'embodiment. Les auteurs ont constitué UniMotion-4K, un corpus de plus de 4000 heures issu de vidéos humaines, de jeux de données 3D natifs et de plateformes humanoïdes hétérogènes, unifiés dans un espace de mouvement commun. Un "Motion Expert" conditionné par le langage y est pré-entraîné à prédire le mouvement futur du corps entier sans supervision d'action robot, puis combiné en post-entraînement à un Video Expert et un Action Expert via une attention asymétrique de type Mixture-of-Transformers (MoT).

Ce travail cible un goulot d'étranglement connu du secteur : le coût et la rareté des données de téléopération spécifiques à chaque plateforme, qui freinent le passage à l'échelle des modèles vision-langage-action (VLA). Les auteurs rapportent une amélioration continue de la prédiction de mouvement futur et des tâches en aval à mesure que le volume de pré-entraînement sur le mouvement augmente, avec un transfert effectif vers des tâches de manipulation réelle sur humanoïde. Point notable pour les intégrateurs et décideurs B2B : le gain d'efficacité des données est le plus marqué quand les démonstrations sur le robot cible sont limitées, ce qui pointe vers une réduction possible du volume de données réelles nécessaire pour déployer un nouvel humanoïde sur une tâche donnée.

Il s'agit d'un article de recherche, sans entreprise ni déploiement commercial identifié dans le résumé : les expériences restent en environnement contrôlé, loin d'un produit livré ou d'un pilote industriel annoncé. La démarche s'inscrit dans une tendance plus large du secteur, qui cherche à séparer l'apprentissage de la dynamique physique générale, à partir de vidéos et de mouvements massifs, de l'apprentissage de l'action spécifique à un robot donné, une logique proche de celle des modèles VLA commerciaux comme Pi-0 ou GR00T N2. L'abstract ne mentionne ni date de mise en production ni partenaire industriel, seulement la démonstration de la transférabilité du prior de mouvement appris et de son bénéfice en contexte de données limitées.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

IA incarnée : traduire les actions en images de mouvement et de contact pour les modèles du monde
1arXiv cs.RO 

IA incarnée : traduire les actions en images de mouvement et de contact pour les modèles du monde

Des chercheurs proposent iMaC (Image as Action Control), un paradigme de contrôle robotique publié en juin 2026 sur arXiv (2606.09813), qui substitue aux vecteurs d'action structurés de faible dimension - angles articulaires et poses d'effecteur terminal - des images visuelles brutes comme représentation native des actions dans les modèles de monde incarnés. L'architecture comprend deux branches : un encodeur image-action qui compresse des images cibles en embeddings d'action compacts, et un prédicteur de monde dynamique conditionné sur ces tokens visuels pour prédire les états futurs et assurer le contrôle en boucle fermée. Des expériences sur des benchmarks publics de manipulation incarnée et des scénarios réels montrent qu'iMaC dépasse les baselines vectorielles en précision de prédiction, taux de succès et généralisation inter-scènes. L'enjeu central est la généralisation inter-embodiment, l'un des verrous majeurs de la robotique incarnée. Les approches conventionnelles encodent des espaces d'action définis manuellement - cinématique propre à chaque plateforme - ce qui bride la portabilité entre bras industriels, manipulateurs mobiles et humanoïdes. En traitant l'image comme token d'action, iMaC encapsule implicitement les intentions de mouvement spatial, les contraintes géométriques et les dynamiques physiques, sans redéfinir l'espace d'action pour chaque robot. Pour les intégrateurs et les équipes R&D, cela ouvre la perspective d'un contrôleur unique déployable sur des flottes hétérogènes - bras Franka, UR, humanoïdes - sans reconfiguration. Nuance importante : l'article valide la méthode sur des "real-world robotic scenarios" sans préciser les plateformes ni les métriques de déploiement, ce qui invite à une lecture prudente des gains annoncés. iMaC s'inscrit dans la vague des modèles de monde incarnés et des architectures VLA (Vision-Language-Action) qui structurent la recherche robotique depuis 2023-2024, aux côtés de pi0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI). Sa singularité tient à l'abandon des encodages cinématiques explicites au profit d'une représentation visuelle continue, une piste explorée différemment via les action-chunking transformers dans des travaux académiques récents. À ce stade, iMaC demeure une préimpression arXiv, sans déploiement industriel ni partenariat avec un constructeur de robots. Les prochaines étapes naturelles passeraient par une validation sur des plateformes standardisées comme ALOHA ou BridgeData V2, et une confrontation sur les benchmarks RLBench ou MetaWorld pour objectiver les gains de généralisation revendiqués.

RechercheOpinion
1 source
DynamicWAM : conditionnement de mouvement à double voie pour les modèles monde-action en manipulation dynamique
2arXiv cs.RO 

DynamicWAM : conditionnement de mouvement à double voie pour les modèles monde-action en manipulation dynamique

Des chercheurs ont publié le 1er août 2026 sur arXiv (référence 2608.00793v1) un modèle baptisé DynamicWAM, conçu pour la manipulation d'objets en mouvement, un cas que les World-Action Models (WAM) actuels gèrent mal puisqu'ils ne se basent que sur l'image courante. L'architecture combine deux canaux complémentaires : un flux d'historique optique, qui encode des trames de flux optique alignées temporellement avec l'observation courante via un VAE vidéo pré-entraîné et figé, pour préserver la structure spatiale du mouvement, et un canal de descripteurs cinématiques (déplacement, durée, vitesse, accélération) injectés directement dans l'expert d'action pour fournir l'amplitude et le timing du mouvement. Les deux flux sont fusionnés par une attention conjointe monde-action, associée à un backbone compact distillé et à une exécution asynchrone basée sur le chunking temps réel (RTC). Sur le benchmark DOMINO, DynamicWAM atteint 38,2 % de taux de réussite et un score de manipulation de 53,2, devançant toutes les bases de comparaison testées. Sur 12 tâches réelles couvrant des mouvements linéaires, circulaires et composés, le taux de réussite moyen grimpe à 46,7 %, soit 22,9 points de pourcentage de plus que la meilleure base de référence. Ce résultat cible un angle mort réel des WAM et des modèles vision-langage-action (VLA) actuels : la plupart de ces systèmes fonctionnent bien sur du pick-and-place statique mais peinent dès que la cible bouge, un scénario pourtant courant en logistique (convoyeurs) ou en collaboration humain-robot. En montrant qu'un backbone compact avec exécution asynchrone bat des bases plus lourdes en synchrone, l'étude appuie l'idée que la réactivité temps réel, plus que la seule taille du modèle, conditionne la robustesse en manipulation dynamique. Le travail s'inscrit dans la lignée des WAM qui combinent modèle du monde (prédiction vidéo) et modèle d'action, dans la continuité de familles comme Pi-0 ou GR00T, mais en ciblant spécifiquement les cibles mobiles plutôt que les scènes figées. Il s'agit d'un préprint non encore relu par les pairs, avec une validation réelle limitée à 12 tâches ; une extension à des benchmarks plus larges et des scénarios industriels plus complexes reste à démontrer.

RechercheActu
1 source
Modèle du monde ancré : alignements latents prédictifs pour l'action (LeapBot-WA)
3arXiv cs.RO 

Modèle du monde ancré : alignements latents prédictifs pour l'action (LeapBot-WA)

Une équipe de recherche a publié sur arXiv (référence 2607.23969v1) LeapBot-WA, un nouveau modèle de type World Action Model (WAM) pour le contrôle robotique. Contrairement aux WAM classiques qui génèrent des vidéos pixel par pixel pour prédire l'évolution d'une scène, ce qui gaspille de la capacité de calcul sur des détails visuels sans intérêt pour la tâche et rend les politiques vulnérables aux distracteurs visuels, LeapBot-WA adopte une architecture "Predictive-Latent" en s'appuyant sur le Joint-Embedding Predictive Architecture (JEPA), utilisé comme "ancre du monde" (World-Anchor). Le système prédit la dynamique physique directement dans un espace latent abstrait plutôt que de reconstruire des images. Pour relier cet espace latent aux modèles de diffusion, les auteurs introduisent un Isotropic Semantic Autoencoder (ISAE), qui remodèle l'espace latent pour éviter les dérives hors variété. L'architecture repose aussi sur un Mixture-of-Transformers asymétrique : un Anchor Diffusion Transformer guide l'entraînement d'un Action Diffusion Transformer, puis est retiré à l'inférence pour ne conserver aucun surcoût de calcul. Sur les benchmarks LIBERO et RoboTwin 2.0, LeapBot-WA atteint l'état de l'art parmi les modèles prédictifs et rivalise avec les meilleurs WAM génératifs, sans pré-entraînement massif sur trajectoires. Le code est disponible sur GitHub (LeapWM/leapbot-wa). Pour l'industrie robotique, ce résultat questionne un présupposé répandu : que la génération vidéo pixel par pixel est nécessaire pour qu'un modèle de monde capture une dynamique physique exploitable. En montrant qu'un espace latent compact suffit à égaler des générateurs vidéo lourds, tout en gagnant en robustesse zero-shot face à des environnements inédits et en démontrant un transfert réel sur robot physique, LeapBot-WA plaide pour des architectures VLA plus légères et déployables, un enjeu concret pour les intégrateurs cherchant à réduire la latence d'inférence en production plutôt qu'en démonstration. Le travail s'inscrit dans la filiation du JEPA popularisé par les travaux de Yann LeCun sur l'apprentissage auto-supervisé non génératif, appliqué ici pour la première fois comme socle central d'un WAM plutôt que comme simple module auxiliaire. Il se positionne face aux générateurs vidéo dominants du secteur (type Pi-0, GR00T N2 ou Helix) qui misent sur la synthèse pixel. Les auteurs annoncent la publication du code mais ne mentionnent pas encore de partenariat industriel ni de calendrier de déploiement commercial.

RechercheActu
1 source
DreamWAM : au-delà de la prédiction RGB pour les modèles d'action du monde
4arXiv cs.RO 

DreamWAM : au-delà de la prédiction RGB pour les modèles d'action du monde

Des chercheurs du laboratoire HUST-VL publient DreamWAM, un modèle monde-action (World Action Model) pour l'apprentissage de politiques robotiques, détaillé dans un article arXiv (2608.04996v1) avec code et modèles publiés sur GitHub. Contrairement à la plupart des WAM, qui prédisent le futur de la scène uniquement en RGB et mélangent ainsi les changements pertinents pour la tâche avec du bruit de texture, d'éclairage ou de point de vue, DreamWAM représente l'état futur sous plusieurs formes complémentaires (apparence, mouvement, géométrie, sémantique). Le modèle combine un débruitage latent conjoint RGB et mouvement avec des branches résiduelles légères pour la géométrie et la sémantique, entraînées via une attention partagée entre les modules VideoDiT et ActionDiT ; ces branches supplémentaires sont désactivées à l'inférence, qui reste purement RGB. Sur le benchmark LIBERO, le taux de réussite passe de 97,30% à 98,40% en inférence sans rollout et de 98,00% à 98,90% en inférence conjointe vidéo-action. Sous les perturbations inédites de LIBERO-Plus, les gains grimpent nettement, de 51,36% à 63,44% et de 69,16% à 75,47%. En manipulation robotique réelle, avec des changements non vus d'éclairage, de fond et de disposition des objets, DreamWAM atteint 74,4% de réussite moyenne, contre 55,6% pour la référence Fast-WAM-Joint. Ce travail pointe un problème bien connu des modèles vision-langage-action: des gains mesurés sur bancs d'essai standards qui s'effondrent dès que l'environnement change légèrement, cet écart entre démonstration et réalité freinant le déploiement industriel des bras manipulateurs et robots humanoïdes. En montrant que des gains modestes en conditions contrôlées, de l'ordre d'un point de pourcentage, se transforment en écarts de dix à vingt points sous perturbation, DreamWAM suggère que la robustesse d'une politique ne dépend pas seulement de la qualité de la prédiction du futur, mais de la forme sous laquelle ce futur est représenté pendant l'entraînement. Pour les équipes de R&D robotique, l'intérêt pratique est que cette supervision multi-vues n'ajoute aucun coût au déploiement puisque les branches concernées sont coupées à l'inférence: la robustesse s'acquiert à l'entraînement, sans alourdir le système embarqué. Ce travail s'inscrit dans une recherche qui cherche à dépasser l'imitation pure en dotant les politiques robotiques d'un modèle du monde capable d'anticiper les conséquences d'une action avant son exécution. DreamWAM se positionne explicitement face à Fast-WAM-Joint, utilisé comme référence RGB pure dans les comparaisons de l'article. Contrairement à une annonce produit ou une démonstration de plateforme humanoïde, il s'agit d'une publication académique évaluée en simulation (LIBERO, LIBERO-Plus) et sur un nombre limité de tâches de manipulation réelle, sans déploiement industriel ni calendrier commercial annoncé. Code et modèles étant publiés en accès libre, la suite logique sera de voir si d'autres équipes reproduisent ces gains de robustesse sur des politiques VLA plus larges ou des tâches de manipulation plus complexes que celles testées ici.

RechercheOpinion
1 source