RecherchearXiv cs.RO 21 octobre 2026

UniWALM : un modèle de langage unifié monde-action pour le contrôle de robots incarnés

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

UniWALM, un modèle unifié « monde-action-langage » décrit dans un préprint arXiv (2610.28626), apprend la vidéo, l'action et le langage dans une représentation partagée unique, chaque modalité servant à la fois de signal de conditionnement et de cible de supervision. L'architecture repose sur un seul backbone de type mixture-of-transformers, dont les têtes de diffusion par modalité débruitent de façon synchrone. Le sous-objectif et la mémoire textuelle sont décodés dans la même passe que l'action, sans étape de planification séparée. Le texte généré est réinjecté au pas suivant, ce qui crée une boucle de « langage comme mémoire », sans planificateur externe ni banque mémoire. Les auteurs ajoutent un objectif d'entraînement, le Flow Matching with Correction (FMC), qui apprend au modèle à se rétablir après des trajectoires d'action perturbées, sans coût à l'inférence. Sur le pick-and-place compositionnel (MolmoSpaces), UniWALM progresse par rapport à son backbone de référence FastWAM. Sur le sous-ensemble de RMBench qui exige de la mémoire, il atteint 34,5 % sans modèle de langage ou de raisonnement pré-entraîné. Il dépasse ainsi la configuration de Mem-0 avec images clés (28,5 %) en n'utilisant qu'une seule image d'ancrage. Sur une tâche réelle de recherche d'objet (« Find-the-Item »), la génération de mémoire textuelle fait passer le succès de 11,1 % à 61,1 %, alors que les VLA de pointe restent à 33,3 % ou moins, soit au niveau du hasard.

L'enjeu est d'abord architectural. La plupart des approches actuelles greffent un modèle vision-langage ou de raisonnement sur un backbone vidéo-action et les exécutent en étapes distinctes. UniWALM suggère qu'un modèle monolithique peut gérer planification et mémoire sans module externe, ce qui simplifierait le déploiement et réduirait la latence. Le résultat sur la tâche réelle est parlant : des VLA à ou sous le hasard sur un comportement dépendant de la mémoire montrent une faiblesse structurelle des politiques sans état. Il faut toutefois relativiser. La tâche réelle est unique et le jeu d'essais, au vu des pourcentages (multiples de 1/18), très réduit, probablement 18 épisodes. Les 34,5 % sur RMBench restent un score bas en valeur absolue. Aucune donnée de temps de cycle, de plateforme robotique ou de déploiement industriel n'est fournie. Pour un intégrateur, il s'agit d'un signal de recherche, pas d'une capacité mobilisable.

Ce travail s'inscrit dans la tendance des modèles monde-action, qui combinent prédiction vidéo et génération d'actions, et dans celle des VLA comme Pi-0 ou GR00T, qui traitent surtout chaque pas de temps de façon quasi réactive. La mémoire à long horizon reste un angle mort de ces politiques, d'où des benchmarks dédiés comme RMBench et des approches concurrentes à base d'images clés comme Mem-0. FastWAM sert ici de base de comparaison directe. La suite logique serait une validation sur davantage de tâches réelles, avec des effectifs d'essais plus larges et des comparaisons face aux VLA industriels, ainsi qu'un passage à l'échelle par pré-entraînement. Aucune publication de code, de poids ou de calendrier n'est mentionnée dans le résumé disponible.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

UniMem : mémoire et contrôle multimodaux unifiés pour les modèles vision-langage-action

UniMem, un framework qui unifie mémoire multimodale de haut niveau et contrôle bas niveau dans une seule architecture pour les modèles Vision-Language-Action (VLA), est décrit dans une preprint arXiv publiée fin aout 2026 (arXiv:2608.22869v1). Le système combine trois composants: un classificateur d'événements qui déclenche les mises a jour mémoire, un encodeur de keyframes pour construire une mémoire spatiale dense, et une technique de mise en cache des keyframes destinée a limiter la surcharge de calcul pendant l'exécution des politiques. Les auteurs ont teste UniMem sur neuf taches au total, cinq en simulation et quatre sur matériel physique, toutes conçues pour solliciter la mémoire séquentielle et spatiale du robot. Les résultats annonces montrent un taux de réussite de 93,4% contre 68,2% pour une base de référence a échantillonnage d'images a intervalles fixes en simulation, et 80,0% contre 43,5% face a une architecture hiérarchique classique sur matériel réel, avec en prime une inférence plus rapide. Ce travail cible un point de friction reconnu dans le déploiement de VLA sur des taches longues et non markoviennes, celles ou l'action a prendre dépend d'événements passes et pas seulement de l'observation courante. Les approches existantes ajoutent généralement un second modèle vision-langage charge de gérer la mémoire long terme en amont du VLA, ce qui créé un goulot d'étranglement et un pipeline d'entrainement fragmente en deux étapes distinctes. Conditionner le modèle sur plusieurs images historiques choisies a intervalles arbitraires dégradé aussi souvent la performance. En proposant un backbone unique entrainable de bout en bout, UniMem promet une adoption plus simple pour les intégrateurs et laboratoires qui construisent des politiques robotiques a long horizon, sans empiler des modules de mémoire externes couteux en latence. Le problème de la mémoire dans les VLA s'inscrit dans la même trajectoire de recherche que des systèmes généralistes comme Pi-0, GR00T N2 ou Helix, qui ont déjà démontre la capacité des architectures VLA a généraliser sur des taches manipulatoires variées mais restent généralement limites a des comportements réactifs de courte durée. UniMem se positionne explicitement contre les architectures hiérarchiques a deux modèles, qu'il compare directement dans ses benchmarks matériels, avec seulement quatre taches physiques testées et des chiffres qui restent auto-rapportes par les auteurs. Le site du projet (losterberg3.github.io/unimem-vla) met a disposition les démonstrations vidéo associées; aucun calendrier de mise en open source du code ni partenariat industriel n'est communique a ce stade, le travail restant au niveau de la publication de recherche.

RechercheActu

1 source

2arXiv cs.RO

Modèles vision-action pour l'apprentissage et le contrôle des robots : une étude

Une équipe de chercheurs publie sur arXiv (identifiant 2609.16074v1) une étude de synthèse consacrée aux World-Action Models (WAM), des architectures qui couplent prédiction de l'état futur du monde et génération d'actions exécutables pour des robots. Le texte ne présente ni robot ni déploiement terrain : c'est une revue de littérature qui situe les WAM par rapport aux modèles du monde classiques, à l'apprentissage par renforcement basé sur un modèle, à la génération vidéo conditionnée par l'action et aux politiques VLA (vision-langage-action) purement réactives. Les auteurs proposent une taxonomie unifiée couvrant représentations, modélisation des transitions d'état, interfaces d'action, architectures, pipelines d'entraînement, modalités de données et stratégies de mise à l'échelle, puis passent en revue les applications en manipulation robotique, navigation et conduite autonome, avant de recenser les jeux de données, benchmarks, métriques et protocoles d'évaluation existants. Une page de projet répertoriant les travaux associés est mise en ligne à l'adresse rcl-robotics.github.io. L'intérêt de ce travail tient moins à un résultat inédit qu'à la mise en ordre d'un champ en pleine effervescence. Depuis l'essor des modèles du monde et de politiques VLA comme Pi-0, GR00T N2 ou Helix, une même intuition traverse le secteur : un robot fiable doit anticiper les conséquences d'une action avant de l'exécuter, plutôt que de se contenter d'associer observation et geste. Pour les intégrateurs et décideurs B2B, cette synthèse offre un vocabulaire commun pour évaluer des annonces concurrentes qui se réclament toutes, à des degrés divers, de cette convergence entre prédiction et action. Elle rappelle aussi, en creux, que la plupart des systèmes déployés aujourd'hui restent soit des générateurs vidéo sans boucle d'action réelle, soit des politiques réactives sans véritable anticipation, ce qui relativise la maturité que certains fournisseurs revendiquent. Ce travail s'inscrit dans la convergence amorcée depuis 2024-2025 entre les modèles du monde issus de la génération vidéo et les politiques d'action de type VLA popularisées par des laboratoires nord-américains et asiatiques ; aucun acteur français ou européen n'est cité dans cette étude, qui reste centrée sur la littérature académique et industrielle existante. Les auteurs identifient plusieurs verrous encore ouverts : l'alignement entre prédiction et action, la factorisation monde-action, la cohérence spatiale et multi-vue, la mémoire à long horizon, la simulation neuronale pour l'apprentissage en boucle fermée, et l'inférence efficace nécessaire à un déploiement temps réel. Ces axes dessinent l'agenda de recherche à venir pour transformer les WAM, aujourd'hui à l'état de cadre conceptuel, en briques réellement déployables sur des robots.

RecherchePaper

1 source

3arXiv cs.RO

TS-WAM : actions latentes temporelles et couplage monde-action pour le contrôle de robots par vision-langage

TS-WAM est un modèle monde-action léger, présenté dans une prépublication arXiv (2610.21922), qui vise deux faiblesses de nombreuses politiques vision-langage-action (VLA). D'une part, elles dépendent de démonstrations robotiques annotées avec les actions, ce qui les empêche d'exploiter des vidéos sans étiquettes d'action. D'autre part, elles n'ont aucun mécanisme explicite pour prédire les états visuels futurs. Les auteurs décrivent une architecture « enseignant-élève » dont le cadre vlm-jepa apprend de façon auto-supervisée à partir de données hétérogènes : démonstrations de robots et vidéos humaines sans actions. Une branche cible à moyenne mobile exponentielle (EMA) remplace l'enseignant externe entraîné séparément. Le module delta-lwm prédit des actions latentes à partir de l'observation courante et de l'instruction, puis s'en sert pour anticiper les caractéristiques visuelles futures, qui guident la génération d'actions. L'ensemble est entraîné de bout en bout, sans préentraînement distinct d'actions latentes ni de modèle du monde. La branche EMA est retirée à l'inférence. Les tests portent sur les benchmarks LIBERO, LIBERO-Plus et SimplerEnv, ainsi que sur des manipulations réelles avec un bras Franka Research 3 et RevoTron. Pour les intégrateurs et les équipes R&D, l'intérêt est double. Exploiter des vidéos humaines sans étiquettes d'action est l'une des voies les plus crédibles pour contourner le coût de la téléopération, qui plafonne le volume de données d'entraînement. Simplifier le pipeline, avec un seul entraînement et sans étape de préentraînement séparée, réduit la complexité d'ingénierie, et un modèle déployé allégé facilite l'embarquement sur du matériel contraint. Il faut toutefois rester prudent. Le résumé ne donne aucun taux de réussite, aucune comparaison chiffrée avec des références comme Pi-0 ou OpenVLA, ni le nombre d'essais réels. Les benchmarks en simulation, LIBERO en tête, sont désormais proches de la saturation et prouvent peu sur la fiabilité en production. Les affirmations de « forte performance, généralisation et robustesse » restent donc à vérifier dans l'article complet, et aucune validation en environnement industriel n'est mentionnée. Ce travail s'inscrit dans la convergence entre VLA et modèles du monde. Plusieurs équipes testent la prédiction d'états futurs ou l'apprentissage d'actions latentes pour réduire la dépendance aux données annotées, en s'appuyant sur les approches JEPA de type prédiction dans l'espace latent. Les politiques généralistes de type Pi-0, GR00T ou Helix restent la référence en matière d'échelle de données et de déploiement, mais exigent beaucoup de démonstrations. TS-WAM se positionne comme une alternative plus économe, mais il s'agit d'une recherche académique sans produit ni calendrier de pilote annoncés. Le choix de RevoTron, plateforme moins courante que le Franka, laisse penser à un laboratoire lié à cet écosystème matériel. Les prochaines étapes à surveiller sont la publication du code et des poids, les comparaisons indépendantes sur des tâches longues, et la validation sur des volumes de vidéos humaines plus larges.

RecherchePaper

1 source

4arXiv cs.RO

Modèles vision-langage-action (VLA) conditionnés par l'état de santé pour un contrôle robotique sensible aux pannes

Une équipe de recherche publie sur arXiv (référence 2605.16056) un modèle VLA (Vision-Language-Action) capable d'adapter son comportement à la dégradation physique d'un robot, une problématique distincte des pannes de tâches habituellement ciblées par la littérature. L'approche repose sur l'injection d'un module "Health Projector" dans l'architecture VLA-Adapter : le modèle reçoit en entrée un vecteur de santé encodant l'amplitude articulaire et le couple disponible pour chaque joint. Entraîné sur 128 épisodes téléopérés collectés dans l'environnement de simulation LIBERO (benchmark Libero-Spatial), il parvient à compléter des tâches de manipulation spatiale avec des configurations de joints dégradés où le modèle de référence VLA-Adapter Libero-Spatial-Pro échoue systématiquement. Le code et le jeu de données seront prochainement disponibles sur GitHub (h-arslan/health-aware-vla). L'intérêt industriel est réel : dans les déploiements terrain, les robots accumulent des dégradations mécaniques progressives (usure articulaire, perte de couple, grippage de préhenseur) sans nécessairement déclencher d'alarme critique. Un contrôleur aveugle à cet état physique maintient ses consignes nominales et accumule les erreurs ; un modèle conditionné à la santé peut recalculer ses trajectoires à la volée. La modification proposée est présentée comme légère, ce qui suggère une intégration possible dans des pipelines VLA existants sans refonte complète. Cependant, les résultats restent limités à la simulation LIBERO avec 128 épisodes seulement, un jeu de données particulièrement restreint, et aucune validation sur robot physique n'est présentée, laissant le gap sim-to-real entièrement ouvert. Ce travail s'inscrit dans l'expansion rapide des VLA depuis 2023, portée par des modèles comme pi0 (Physical Intelligence), OpenVLA ou la famille RoboVLMs. VLA-Adapter, utilisé comme base ici, est une variante qui réduit les coûts de fine-tuning en gelant le backbone visio-langagier pour n'entraîner qu'un adaptateur léger. La résilience robotique est jusqu'ici majoritairement traitée côté contrôle bas niveau (détection de fautes, compensation par redondance articulaire) plutôt qu'au niveau de la politique visuo-langagière, ce qui rend l'angle de cette recherche original. Aucun acteur européen n'est impliqué dans cette publication. La prochaine étape logique serait une validation sur hardware réel avec des dégradations induites mécaniquement et un dataset substantiellement élargi pour crédibiliser le passage à l'échelle.

RechercheOpinion

1 source