RecherchearXiv cs.RO 5 octobre 2026

Modélisation du monde et des actions avec planification visuelle progressive

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent ProWAM, un « world action model » (WAM) progressif qui prédit conjointement des actions robotiques et une séquence ordonnée de sous-objectifs visuels épars, à partir d'une observation initiale et d'une instruction. Les WAM existants butent sur les tâches longues : générer des vidéos denses est coûteux, et les variantes qui ne prédisent qu'une seule image future ne disent pas comment progresser vers le but. ProWAM exécute une seule passe avant du backbone vidéo pour mettre en cache les caractéristiques de ces sous-objectifs, puis n'effectue qu'un débruitage d'actions léger à chaque replanification. Les résultats annoncés en simulation sont 85,8 % sur LIBERO-Plus et 75,7 % sur RoboTwin randomisé, soit jusqu'à +35,9 % en relatif face à la meilleure référence. Sur RoboCasa365, le modèle atteint 48,1 % de réussite globale (4e rang) et 18,2 % sur le split difficile Composite-Unseen. En conditions réelles, en zéro-shot dans des scènes inédites, il obtient 70,0 % de réussite contre 55,0 % pour la meilleure référence, soit +15 points (+27,3 % en relatif).

L'intérêt tient à la manière dont le modèle sépare planification visuelle et contrôle. Comme la prédiction de sous-objectifs peut s'apprendre sur de grands volumes de vidéos sans actions annotées, le backbone vidéo absorbe la planification que la politique d'action n'a plus à apprendre seule. Cela exploite des données bien plus abondantes que les démonstrations téléopérées. Le coût d'inférence est aussi un enjeu concret : éviter la génération itérative de vidéo complète rend la replanification en boucle fermée plus réaliste sur du matériel embarqué. Le gain porte surtout sur la robustesse hors distribution, point faible classique des politiques VLA et WAM, ce qui touche directement l'écart entre démonstration et déploiement. Quelques réserves : le test réel repose sur un échantillon qui semble réduit (les pourcentages sont des multiples de 5 points, ce qui suggère une vingtaine d'essais), l'écart de 15 points est donc statistiquement fragile. Le classement 4e sur RoboCasa365 nuance aussi une domination qui n'est établie que sur certains benchmarks. Il s'agit en outre d'un préprint arXiv (2610.02508v1), non évalué par les pairs, sans produit ni déploiement industriel associé.

Ce travail s'inscrit dans la montée des modèles du monde appliqués au contrôle, qui cherchent à dépasser les VLA purement réactifs en ajoutant une anticipation visuelle. Les approches denses, qui génèrent des vidéos complètes, pèsent lourd en calcul, tandis que les approches à image future unique manquent de guidage intermédiaire. ProWAM se place entre les deux, avec une anticipation indexée sur la progression de la tâche. Le projet est hébergé sous le nom d'organisation « sii-ferenas » ; le résumé ne précise ni le code ni les poids publiés, ni la comparaison détaillée avec des modèles comme Pi-0 ou GR00T. La suite logique serait une validation sur davantage de tâches réelles, avec des essais plus nombreux, et des mesures de latence sur robot pour confirmer le gain d'efficacité revendiqué.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Modélisation unifiée du monde par actions visuelles masquées

Des chercheurs présentent Masked Visual Actions, une nouvelle interface de contrôle en espace pixel pour les modèles de monde robotiques, décrite dans un article déposé sur arXiv (2607.19343v1). La méthode consiste à exprimer une action sous forme de trajectoire partiellement révélée d'une entité arbitraire dans une vidéo. Concrètement, révéler le mouvement du robot transforme le modèle en modèle de dynamique directe, capable de prédire comment la scène va réagir à une commande motrice bas niveau. À l'inverse, révéler le mouvement souhaité d'un objet permet au même modèle de retrouver le comportement robotique nécessaire pour produire ce résultat, une forme de modélisation inverse. Le système a été affiné avec seulement 15 heures d'exemples masqués, combinant vidéos réelles et données de simulation. Un unique point de contrôle (checkpoint) obtient une bonne fidélité visuelle et un contrôle fiable sur des scènes variées et plusieurs types d'embodiments robotiques différents. L'intérêt de cette approche pour le secteur tient à l'unification qu'elle propose entre prévision et contrôle au sein d'un seul modèle vidéo, sans représentation d'action spécifique par plateforme. Pour les équipes qui développent des politiques de manipulation, les "rollouts imaginés" produits par le modèle montrent une corrélation avec les résultats d'exécution réelle, ce qui ouvre la voie à évaluer des politiques robotiques sans multiplier les essais physiques coûteux. Le modèle sert aussi d'outil de planification, en classant des futurs candidats pour orienter la prise de décision, et de générateur de trajectoires robotiques à partir d'un mouvement d'objet cible. Avec seulement 15 heures de données de finetuning, ces résultats suggèrent qu'un modèle vidéo pré-entraîné peut absorber l'essentiel des priors physiques nécessaires, réduisant la dépendance à de vastes jeux de données de téléopération spécifiques à chaque robot. Ces travaux s'inscrivent dans la dynamique plus large des modèles de monde vidéo appliqués à la robotique, aux côtés d'approches comme les architectures VLA (vision-langage-action) ou les modèles génératifs de type Genie. La contribution ici porte spécifiquement sur le mode d'expression de l'action en pixels, plutôt que sur une nouvelle architecture réseau. L'article ne précise pas de partenariat industriel ni de déploiement matériel; il s'agit à ce stade d'une démonstration de recherche évaluée en simulation et en environnement contrôlé, dont la généralisation à des déploiements robotiques en production reste à établir.

RecherchePaper

1 source

2arXiv cs.RO

SkeleWAM : modélisation squelette du monde et de l'action pour une manipulation robotique efficace

Des chercheurs publient sur arXiv (2610.02120) SkeleWAM, un modèle « world action » (WAM) compact pour la manipulation robotique. Un WAM combine la génération d'actions du robot avec la prédiction d'états futurs. La plupart des WAM existants prédisent des vidéos ou des latents visuels appris. Le nouveau modèle représente plutôt la scène sous la forme d'un squelette 3D épars, composé des articulations du robot, des centres d'objets et de points d'interaction. Ce squelette est construit en ligne à partir des images RGB-D courantes et de la proprioception du robot. Il sert d'état géométrique unique pour générer les actions et prédire les squelettes futurs, ce qui apporte une supervision géométrique supplémentaire sans reconstruction visuelle. À l'inférence, le modèle produit les actions directement depuis le squelette courant et l'instruction en langage naturel. Une stratégie auxiliaire, Medoid Action Consensus (MAC), sélectionne parmi plusieurs échantillons d'actions stochastiques un consensus représentatif. Sur le benchmark LIBERO-Plus, SkeleWAM atteint 85,9 % de réussite globale avec 57,1 millions de paramètres, soit 3,7 points de plus que Cosmos-Policy. L'intérêt tient au compromis entre performance et taille. Les WAM fondés sur la vidéo ou sur des latents visuels portent des informations d'apparence sans rapport avec le contrôle et ne codent la géométrie d'interaction qu'implicitement. Avec 57,1 M de paramètres, SkeleWAM se situe très en dessous des modèles de fondation de type VLA, qui comptent en général plusieurs milliards de paramètres. Si l'approche tient hors benchmark, elle ouvre la voie à des politiques embarquables sur du calcul modeste, un point décisif pour les intégrateurs qui visent des cellules industrielles sans GPU lourd. Elle suggère aussi qu'un état structuré, centré sur les relations robot-objet, peut suffire à remplacer la prédiction de pixels. Des réserves s'imposent : LIBERO-Plus est un benchmark en simulation, qui évalue la robustesse à des perturbations, et l'écart de 3,7 points reste modeste. Aucun test sur robot réel n'est mentionné dans le résumé. Enfin, la construction du squelette suppose une perception RGB-D fiable, ce qui déplace une partie de la difficulté vers l'estimation des centres d'objets et des points d'interaction en conditions réelles. SkeleWAM s'inscrit dans la montée des world action models, qui cherchent à marier politique et modèle du monde, avec Cosmos-Policy comme référence directe de la comparaison. La tendance dominante a consisté à prédire des vidéos futures, coûteuses en calcul. Les travaux récents explorent des représentations plus sobres, géométriques ou latentes, pour réduire ce coût. Les auteurs publient une page de projet (skelewam-project.github.io). La suite logique serait une validation sur matériel réel, sur des tâches variées et dans des environnements encombrés, ainsi qu'une comparaison avec les grands VLA sur des benchmarks complémentaires. Il s'agit pour l'instant d'une préimpression, sans produit ni déploiement associé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Vers des modèles du monde unifiés pour la navigation visuelle par planification et anticipation augmentées de mémoire

Une équipe de recherche présente UniWM, un « world model » unifié et augmenté par mémoire pour la navigation visuelle des agents incarnés, détaillé dans une version mise à jour d'un article arXiv (2510.08713v3). Le système fusionne, au sein d'un seul backbone autorégressif multimodal, la prévision visuelle égocentrique des états futurs et la planification d'actions, évitant le découplage classique entre ces deux modules qui provoque un désalignement état-action dans les architectures modulaires habituelles. Un mécanisme de mémoire hiérarchique combine indices perceptifs à court terme et contexte de trajectoire à long terme pour maintenir un raisonnement stable sur des horizons étendus. Testé sur quatre bancs d'essai (Go Stanford, ReCon, SCAND, HuRoN) ainsi que sur le 1X Humanoid Dataset, issu du fabricant de robots humanoïdes 1X Technologies, UniWM améliore le taux de réussite de navigation jusqu'à 30% face aux meilleures références existantes, réduit sensiblement les erreurs de trajectoire, et généralise en zero-shot sur le jeu de données inédit TartanDrive. Code et modèles sont publiés en open source sur GitHub, sous UWMILab/UniWM. Le résultat cible un point de friction connu en robotique embarquée : les piles de navigation modulaires, qui séparent planification et modélisation visuelle, s'adaptent mal aux scénarios dynamiques ou inédits faute d'alignement entre prédiction et décision. En ancrant explicitement l'action sur des états futurs imaginés au sein d'un modèle unique entraîné de bout en bout, UniWM illustre une alternative aux pipelines fragmentés, un enjeu concret pour les intégrateurs qui déploient des robots mobiles ou humanoïdes en environnement non structuré. Le transfert réussi vers un jeu de données humanoïde suggère une passerelle entre navigation mobile classique et locomotion humanoïde, même si ces gains restent mesurés sur des bancs d'essai académiques standardisés, pas en conditions réelles de déploiement. UniWM s'inscrit dans la tendance de recherche vers des modèles du monde unifiés, où prévision visuelle et contrôle fusionnent dans un système génératif unique plutôt qu'en sous-modules séparés, une logique voisine de celle poursuivie par les laboratoires développant des modèles vision-langage-action pour la manipulation robotique. Porté par le UWMILab, le projet met code et poids à disposition de la communauté académique sans annonce de partenariat industriel ni de calendrier de déploiement pilote, et aucun acteur européen n'apparaît dans les benchmarks utilisés. La prochaine étape annoncée reste l'appropriation du code par les chercheurs en navigation visuelle et robotique incarnée.

RecherchePaper

1 source

4arXiv cs.RO

ACID : cohérence des actions par dynamique inverse pour la planification avec des modèles du monde

ACID (Action Consistency via Inverse Dynamics), présenté dans un article arXiv publié début juillet 2026 (arXiv:2607.02403v1), s'attaque à un défaut connu de la planification par modèles du monde conditionnés par l'action, une méthode largement utilisée en contrôle robotique. Le problème identifié par les auteurs : le coût de planification standard ne juge une trajectoire candidate qu'à l'aune de la proximité entre l'état terminal prédit et l'objectif, sans vérifier si les transitions intermédiaires sont réalisables. Résultat, une trajectoire peut sembler cohérente sur le papier tout en divergeant fortement une fois exécutée dans l'environnement réel. ACID introduit un principe de "cohérence d'action cyclique" : à chaque étape, un modèle de dynamique inverse tente de retrouver, à partir de la transition prédite, l'action qui l'a produite ; l'écart entre cette action reconstruite et l'action réelle est intégré au coût de planification via une pondération adaptative invariante à l'échelle. Les auteurs valident la méthode sur quatre modèles du monde différents et six tâches couvrant la manipulation d'objets rigides et déformables, le contrôle de systèmes articulés et la navigation visuelle, avec un gain systématique en qualité de planification. L'apport principal n'est pas seulement la précision, mais l'efficacité : ACID atteint une exactitude comparable aux méthodes de référence tout en réduisant substantiellement le budget de calcul nécessaire à la planification. C'est un point sensible pour l'embarqué robotique, où le temps de cycle et la puissance de calcul disponible contraignent directement le déploiement temps réel. Le papier touche aussi à un débat plus large dans le secteur : la fiabilité des modèles du monde utilisés pour anticiper les conséquences d'une action avant de l'exécuter, un maillon critique face aux erreurs qui s'accumulent le long d'une trajectoire prédite. Cette approche s'inscrit dans la lignée des travaux sur la planification par modèle prédictif (MPC) couplée à des dynamiques apprises, une alternative aux architectures vision-langage-action de bout en bout comme Pi-0, GR00T N2 ou Helix, qui n'exposent pas de mécanisme de vérification explicite des trajectoires intermédiaires. Publié en preprint, ACID n'a pas encore fait l'objet d'une revue par les pairs ni d'une validation sur robot physique au-delà des bancs de test utilisés dans l'étude ; la suite logique serait une évaluation en conditions réelles et une comparaison directe avec les méthodes de planification par diffusion, autre piste active du domaine.

RecherchePaper

1 source