RecherchearXiv cs.RO 21 septembre 2026

MT-WAM : réorienter la représentation prédictive à passage unique vers la génération d'action

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Publié sur arXiv en septembre 2026 (référence 2609.21474v1), MT-WAM fait évoluer le modèle Fast-WAM de contrôle robotique par apprentissage vidéo-action. Le système génère les actions à partir d'un unique passage avant dans un Transformer de diffusion vidéo, sans produire de vidéo future à l'inférence. MT-WAM y ajoute deux supervisions, prédiction de trajectoires de points 2D futurs et de caractéristiques visuelles futures, traitées par une branche légère à deux flux avec masque d'attention anti-interférence copiée depuis les derniers blocs du backbone vidéo. À l'inférence, seuls des caches vidéo et mouvement sont recalculés à chaque replanification, la prédiction vidéo future étant abandonnée. Résultat, sans pré-entraînement de politique supplémentaire : 98,2% de réussite sur LIBERO, 73,7% sur LIBERO-Plus (+23,8 points face à Fast-WAM), une hausse de 6,30% à 19,40% sur RoboTwin 2.0 en configuration Random, et de 67,0% à 77,8% en moyenne sur quatre tâches réelles.

L'enjeu dépasse la simple prouesse benchmark : les modèles de contrôle robotique de type VLA cherchent à exploiter une représentation vidéo pré-entraînée pour produire des actions fiables sans supporter le coût de calcul d'une génération vidéo complète à chaque inférence. En montrant qu'une supervision orientée vers la dynamique future et la structure visuelle améliore surtout la robustesse sur des variations non vues, comme le confirment les gains sur LIBERO-Plus et sur la configuration Random de RoboTwin, MT-WAM apporte un indice concret que les architectures façon Fast-WAM sous-exploitaient jusqu'ici leur propre représentation vidéo pour l'action, un point utile pour qui conçoit des politiques robotiques génériques à partir de backbones vidéo pré-entraînés plutôt que des politiques spécialisées entraînées de bout en bout.

MT-WAM se présente explicitement comme une extension de Fast-WAM, dont il reprend le principe fondateur : le co-entraînement vidéo-action améliore le contrôle sans nécessiter de génération vidéo à l'exécution. Classé en soumission croisée sur arXiv, le travail s'inscrit dans un courant de recherche actif sur les modèles de fondation robotiques combinant prédiction vidéo et génération d'action via des Transformers de diffusion. Les auteurs ne signalent ni partenariat industriel ni intégration produit : les résultats reposent sur des benchmarks de simulation reconnus (LIBERO, LIBERO-Plus, RoboTwin 2.0) et sur seulement quatre tâches réelles, ce qui invite à la prudence avant toute extrapolation à grande échelle. Aucune date de mise à disposition du code n'est mentionnée dans la publication.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Passage à l'échelle de la manipulation dextre par préentraînement de représentations d'actions

Une équipe de chercheurs propose ARPG (Action Representation Pretraining and Generation), une méthode qui sépare explicitement l'apprentissage des représentations d'actions de la génération d'actions pour la manipulation dextre. Dans un premier temps, un encodeur de représentation d'actions est pré-entraîné sur des données de manipulation humaine à grande échelle. Il est ensuite figé, puis un modèle génératif compact de 130 millions de paramètres apprend les distributions d'actions conditionnées par la tâche, directement dans l'espace de représentation de l'encodeur. Les auteurs annoncent des résultats de pointe sur le benchmark DexJoCo. Sur la manipulation dextre bimanuelle, le taux de succès moyen passe de 10,1 % pour π0.5 à 44,7 %. Des expériences de passage à l'échelle montrent aussi qu'une couverture plus large des comportements humains améliore les performances en aval. Il s'agit d'un travail de recherche publié sur arXiv, sans produit ni déploiement associé. L'enjeu tient au goulot d'étranglement que le secteur rencontre sur la dextérité. Le pré-entraînement massif en vision, langage et vidéo a nettement amélioré la perception et la généralisation des modèles de manipulation. La génération d'actions complexes reste en revanche limitée par la rareté des démonstrations robotiques, qui doivent servir à apprendre à la fois la représentation des actions et leur distribution selon la tâche. En déplaçant le premier problème vers des données humaines, bien plus abondantes, ARPG suggère que la représentation d'actions constitue une dimension de passage à l'échelle indépendante, distincte de la taille du modèle ou du volume de démonstrations robot. Pour les intégrateurs et les équipes R&D, c'est une piste pour réduire le coût de collecte de téléopération. Un backbone de 130 millions de paramètres, très inférieur aux VLA de plusieurs milliards, pourrait aussi faciliter l'inférence embarquée. Une prudence s'impose toutefois : les chiffres proviennent d'un benchmark, probablement en simulation, et d'un article non encore évalué par les pairs. Le gain de 10,1 % à 44,7 % reste à confirmer sur matériel réel, et le taux de succès absolu demeure sous la barre de fiabilité qu'exige un usage industriel. Ce travail s'inscrit dans la course aux modèles généralistes de type VLA (vision-langage-action), dont π0.5 de Physical Intelligence sert ici de référence. Plusieurs acteurs exploitent déjà des vidéos et données humaines pour compenser le manque de données robotiques, notamment autour de GR00T chez NVIDIA ou de Helix chez Figure. Le texte ne précise ni code ni poids publiés, ni calendrier de validation sur robot physique. La suite logique serait des tests sur mains dextres réelles et une évaluation face à d'autres VLA récents. Il faudra aussi vérifier si la tendance se poursuit avec des corpus humains plus vastes et plus variés.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Vers un apprentissage robotique unifié : relier représentation, modèles vision-langage-action et modèles du monde

Un article publié sur arXiv sous la référence 2609.03927v1 propose une synthèse unifiée de l'apprentissage robotique, en organisant les travaux existants autour de trois axes complémentaires : la compréhension via l'apprentissage de représentation, l'action via les modèles vision-langage-action (VLA), et le raisonnement via les modèles du monde. Les auteurs introduisent une taxonomie structurée qui capture les choix de conception clés en matière de représentation de l'environnement, d'apprentissage de politiques et de modélisation prédictive, et dressent un état des lieux des avancées récentes dans ces trois domaines de recherche. Le papier pointe un problème central pour le secteur : ces trois paradigmes progressent rapidement mais restent développés de façon cloisonnée, ce qui produit des systèmes fragmentés, peu capables de généraliser, de raisonner sur des horizons temporels longs ou de planifier dans des environnements non structurés. C'est un signal utile pour les intégrateurs et décideurs B2B qui misent tout sur un seul bloc technologique, qu'il s'agisse d'un VLA pour l'action ou d'un modèle du monde pour la prédiction. Les auteurs soutiennent que les limites observées sur le terrain, quantification insuffisante de l'incertitude, mauvaise généralisation hors distribution, transfert difficile d'une plateforme robotique à une autre, compréhension limitée du contexte long, planification longue portée fragile, ne viennent pas seulement des composants pris isolément mais du manque d'intégration entre perception, action et raisonnement. Cela nuance l'hypothèse répandue selon laquelle il suffirait de faire grossir un seul type de modèle pour résoudre l'autonomie robotique générale. Cette synthèse arrive alors que les trois courants qu'elle croise, apprentissage de représentation pour la perception, modèles VLA pour le contrôle d'action, modèles du monde pour la prédiction des conséquences, ont chacun connu des avancées rapides ces dernières années dans la recherche robotique sans converger vers une architecture commune. Plutôt que de comparer des produits ou des laboratoires concurrents, l'article se positionne comme une carte du terrain de recherche à destination de la communauté scientifique. Les auteurs esquissent des directions futures vers des systèmes d'apprentissage robotique unifiés, physiquement ancrés et probabilistes, capables de maintenir des représentations internes cohérentes et de soutenir la prise de décision sur des interactions prolongées en conditions réelles, sans toutefois annoncer de calendrier de mise en œuvre ni de prototype déployé.

RecherchePaper

1 source

3arXiv cs.RO

PDRVLA : un modèle vision-langage-action (VLA) avec représentations de la dynamique physique

PDRVLA est un modèle vision-langage-action (VLA) présenté sur arXiv en version 1 (2610.37381), qui cherche à doter la génération d'actions robotiques d'une meilleure compréhension de la dynamique physique. Son cœur est un Physical Dynamics Module léger, qui extrait des « tokens physiques » à partir des représentations visuelles et linguistiques pour conditionner la génération d'actions, sans produire de vidéo en ligne. Le module apprend en prédisant directement les caractéristiques futures en RGB, en profondeur et en flux optique, avec une supervision auxiliaire fournie par un modèle de monde vidéo pré-entraîné figé. L'entraînement repose uniquement sur des données publiques, enrichies par synthèse humain-vers-robot, annotation de sous-tâches et annotation de chaîne de raisonnement incarnée (ECoT). Sur quatre benchmarks en simulation, les auteurs rapportent 99,3 % de succès sur LIBERO, 89,9 % sur LIBERO-Plus, 93,6 % sur RoboTwin 2.0 et 81,5 % sur SimplerEnv. L'enjeu est la latence. Les modèles de monde vidéo capturent bien la dynamique des scènes, mais générer des images futures à chaque pas insère un coût de calcul important dans la boucle de contrôle, ce qui pose problème pour un robot qui doit réagir en temps réel. PDRVLA propose de distiller ce savoir dynamique dans un module compact, utilisé seulement à l'entraînement pour la partie vidéo, et de garder une inférence rapide. Pour un intégrateur, c'est une piste crédible pour obtenir des politiques plus conscientes de la physique sans exiger une infrastructure GPU lourde à l'exécution. L'usage exclusif de données publiques facilite aussi la reproductibilité. Il faut toutefois relativiser les chiffres : un score de 99,3 % sur LIBERO indique surtout que ce benchmark est quasi saturé, et les résultats viennent exclusivement de simulation. Aucun test sur robot réel, ni mesure de latence ou de taille du modèle, n'est mentionné dans le résumé, ce qui laisse ouverte la question du transfert sim-to-real. Le gain de LIBERO-Plus, conçu pour tester la robustesse aux perturbations, est plus informatif que le score LIBERO classique. Ce travail s'inscrit dans la course des VLA, où des modèles comme Pi-0, GR00T ou Helix cherchent à généraliser à partir de grands volumes de démonstrations, tandis qu'une autre branche de la recherche mise sur les modèles de monde vidéo pour anticiper les conséquences des actions. PDRVLA tente un compromis entre les deux. Les ablations indiquent que la supervision par le modèle de monde améliore la prédiction du futur, et elles évaluent l'effet du conditionnement par sous-tâches, de la supervision de la pose future des objets et de l'entraînement ECoT sur le taux de réussite, sans que le résumé en détaille les gains. Les prochaines étapes naturelles seraient une validation sur matériel réel, une comparaison de latence face aux approches fondées sur la génération vidéo et une évaluation sur des tâches de manipulation plus longues et plus variées.

RecherchePaper

1 source

4arXiv cs.RO

MIM-VLA : apprentissage de représentations d'interaction physique à partir du retour moteur de la pince

MIM-VLA est un preprint (arXiv 2610.08425, v1) qui ajoute à une politique vision-langage-action (VLA) une représentation de la réponse physique au contact, tirée uniquement du moteur de la pince. Un Motor Interaction Module (MIM) encode le courant, la position, la vitesse et la validité du signal du gripper récents sous la forme d'un « token d'interaction » de 128 dimensions. Le module est préentraîné sur des étiquettes de contact et de phase d'interaction relues par des humains. Il conditionne ensuite uniquement la voie d'action de la pince de SmolVLA, le petit VLA open source de Hugging Face. Les actions du bras et l'interface en contrôle de position restent inchangées. Le même token alimente MEM, un VLM « sélecteur » qui compare des interactions candidates et produit des choix accompagnés d'explications. Trois tests réels sont décrits : comparer la résistance d'objets visuellement différents, distinguer un objet réel de sa réplique par sondage actif, et saisir délicatement des objets fragiles, y compris des instances jamais vues. Sur 13 paires d'objets, MIM-VLA choisit l'objet le plus résistant dans 75,0 % des essais, contre 48,8 % pour SmolVLA, soit un niveau proche du hasard. L'intérêt est pratique. Les VLA actuels décident surtout à partir de l'image et de l'état du robot, et ne « sentent » pas ce qui se passe après le contact. Les approches tactiles classiques demandent des capteurs supplémentaires, comme des matrices tactiles ou des capteurs force-couple, qui alourdissent la pince, le coût et la maintenance. Ici, les auteurs affirment n'utiliser que le retour moteur déjà disponible, sans estimation de force calibrée ni contrôle direct du courant. Pour un intégrateur, cela rend la piste réaliste sur des pinces existantes, notamment pour manipuler des objets fragiles ou contrôler la qualité par palpation. Les limites sont claires. Il s'agit d'un résultat de laboratoire, sans nombre d'essais détaillé dans le résumé. Les tâches sont choisies par les auteurs, et 75 % de réussite signifie encore une erreur sur quatre, loin d'un niveau industriel. Ce travail s'inscrit dans la poussée vers des VLA « physiquement ancrés » face à la limite de la vision seule. La concurrence passe par les capteurs tactiles dédiés, les capteurs force-couple et les grands modèles généralistes de type Pi-0, qui restent essentiellement visuels. La proposition MIM-VLA est plus légère, mais sa validité hors du couple pince-SmolVLA testé reste à démontrer. La suite logique serait de valider sur d'autres pinces et d'autres VLA, avec des comparaisons directes face à des capteurs tactiles.

RecherchePaper

1 source