RecherchearXiv cs.RO 22 juillet 2026

Modélisation unifiée du monde par actions visuelles masquées

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent Masked Visual Actions, une nouvelle interface de contrôle en espace pixel pour les modèles de monde robotiques, décrite dans un article déposé sur arXiv (2607.19343v1). La méthode consiste à exprimer une action sous forme de trajectoire partiellement révélée d'une entité arbitraire dans une vidéo. Concrètement, révéler le mouvement du robot transforme le modèle en modèle de dynamique directe, capable de prédire comment la scène va réagir à une commande motrice bas niveau. À l'inverse, révéler le mouvement souhaité d'un objet permet au même modèle de retrouver le comportement robotique nécessaire pour produire ce résultat, une forme de modélisation inverse. Le système a été affiné avec seulement 15 heures d'exemples masqués, combinant vidéos réelles et données de simulation. Un unique point de contrôle (checkpoint) obtient une bonne fidélité visuelle et un contrôle fiable sur des scènes variées et plusieurs types d'embodiments robotiques différents.

L'intérêt de cette approche pour le secteur tient à l'unification qu'elle propose entre prévision et contrôle au sein d'un seul modèle vidéo, sans représentation d'action spécifique par plateforme. Pour les équipes qui développent des politiques de manipulation, les "rollouts imaginés" produits par le modèle montrent une corrélation avec les résultats d'exécution réelle, ce qui ouvre la voie à évaluer des politiques robotiques sans multiplier les essais physiques coûteux. Le modèle sert aussi d'outil de planification, en classant des futurs candidats pour orienter la prise de décision, et de générateur de trajectoires robotiques à partir d'un mouvement d'objet cible. Avec seulement 15 heures de données de finetuning, ces résultats suggèrent qu'un modèle vidéo pré-entraîné peut absorber l'essentiel des priors physiques nécessaires, réduisant la dépendance à de vastes jeux de données de téléopération spécifiques à chaque robot.

Ces travaux s'inscrivent dans la dynamique plus large des modèles de monde vidéo appliqués à la robotique, aux côtés d'approches comme les architectures VLA (vision-langage-action) ou les modèles génératifs de type Genie. La contribution ici porte spécifiquement sur le mode d'expression de l'action en pixels, plutôt que sur une nouvelle architecture réseau. L'article ne précise pas de partenariat industriel ni de déploiement matériel; il s'agit à ce stade d'une démonstration de recherche évaluée en simulation et en environnement contrôlé, dont la généralisation à des déploiements robotiques en production reste à établir.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Modélisation unifiée des actions dans un monde 4D à partir de vidéos avec débruitage asynchrone

Une équipe de recherche dépose sur arXiv (référence 2604.26694) X-WAM, un modèle de monde 4D unifié capable d'exécuter des actions robotiques en temps réel tout en générant simultanément des reconstructions vidéo haute fidélité et des cartes 3D de l'environnement futur. Contrairement à UWM et aux approches antérieures limitées à l'espace 2D en pixels, X-WAM prédit des flux RGB-D multi-caméras : une branche de prédiction de profondeur est greffée sur les derniers blocs d'un Diffusion Transformer vidéo pré-entraîné, une adaptation légère qui capitalise sur des priors visuels existants sans entraînement from scratch. La contribution technique centrale est l'Asynchronous Noise Sampling (ANS) : pendant l'inférence, les actions robotiques sont décodées en quelques étapes de débruitage pour respecter les contraintes de latence temps réel, tandis que la génération vidéo bénéficie du pipeline de débruitage complet. Pré-entraîné sur 5 800 heures de données robotiques, X-WAM atteint 79,2 % de taux de succès moyen sur le benchmark RoboCasa et 90,7 % sur RoboTwin 2.0, surpassant les méthodes existantes sur les métriques visuelles et géométriques de reconstruction. Le compromis non résolu entre richesse de modélisation du monde et latence d'exécution est le noeud central de ce travail. Les architectures VLA actuelles, comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, génèrent des actions rapidement mais n'estiment pas la géométrie 3D de l'environnement ; à l'inverse, les modèles génératifs produisent des représentations spatiales riches mais peinent à décoder à la cadence exigée par le contrôle robotique temps réel. ANS prétend supprimer ce dilemme en allouant des budgets de débruitage asymétriques entre les deux sorties à l'inférence, tout en maintenant un alignement de distribution pendant l'entraînement pour éviter l'écart train/test. Si ces résultats tiennent en conditions réelles, ce design ouvrirait une voie architecturale directe pour la manipulation complexe en espace non structuré. X-WAM s'inscrit dans la vague de travaux visant à unifier perception, modélisation du monde et contrôle dans un seul réseau neuronal, une direction portée par Genie 2 de DeepMind, UniSim de Google et les recherches de World Labs. Le recours aux priors d'un modèle de diffusion vidéo pré-entraîné pour le grounding spatial est une stratégie partagée par plusieurs travaux récents sur le sim-to-real et les VLA de prochaine génération. Cela dit, l'article reste une prépublication arXiv sans revue par les pairs, et les benchmarks RoboCasa et RoboTwin 2.0 sont entièrement simulés : aucun déploiement sur robot physique n'est documenté. La validation sim-to-real constituera l'épreuve décisive, un écart qui a historiquement fait trébucher des systèmes très performants en environnement virtuel.

RechercheOpinion

1 source

2arXiv cs.RO

WAM-Nav : modélisation monde-action asymétrique en espace latent pour la navigation visuelle unifiée

Des chercheurs ont publié WAM-Nav (Latent World-Action Model for Navigation), un système de navigation visuelle incarnée qui couple la génération d'actions et la prévision visuelle dans un seul modèle, déposé sur arXiv en juin 2026 (réf. 2606.04907). L'architecture repose sur un Diffusion Transformer partagé qui effectue une diffusion jointe asymétrique : il génère simultanément des actions à long horizon et une anticipation visuelle à court horizon, sans recourir aux rollouts autorégressifs multi-étapes qui alourdissent la latence d'inférence. Un mécanisme de conditionnement contextuel à double flux intègre l'historique d'ego-motion à l'échelle de l'épisode et les observations visuelles séquentielles, favorisant des trajectoires lisses et cohérentes. Un module d'alignement d'objectif unifié permet à WAM-Nav de gérer trois modes dans une seule politique : Image-Goal, Point-Goal et exploration libre (No-Goal). Sur les benchmarks ClutterScenes et InternScenes, le système améliore les taux de réussite de 15,7 % en Image-Goal et de 3,3 % en Point-Goal. En déploiement réel, WAM-Nav atteint 85 % de taux de succès moyen sur des environnements intérieurs et extérieurs variés, sans fine-tuning, soit un transfert sim-to-real zéro-shot. Ce résultat intéresse directement les intégrateurs de robotique mobile pour deux raisons concrètes. D'abord, la résolution simultanée de l'action et de l'imagination visuelle dans un seul réseau réduit l'accumulation d'erreurs typique des architectures modulaires, où le prédicteur de scène et le module de politique sont entraînés séparément et se propagent mutuellement leurs erreurs. Ensuite, un taux de 85 % en zéro-shot sur des environnements variés représente un indicateur sérieux, même si les conditions de test (densité d'obstacles, vitesses, types de sols) ne sont pas détaillées dans le résumé et méritent d'être examinées dans le papier complet. Pour un COO ou un décideur B2B, cette architecture suggère des robots de navigation capables de s'adapter à de nouveaux scénarios sans collecte de données coûteuse sur site. Le sim-to-real gap reste l'un des blocages majeurs de la robotique mobile autonome depuis des années : les politiques entraînées en simulation échouent souvent au contact du monde réel en raison des différences de rendu, de dynamique et de bruit des capteurs. WAM-Nav s'inscrit dans une vague de travaux qui combinent modèles de diffusion pour la génération d'actions et représentations latentes du monde, dans la lignée des World Models de type RSSM ou des VLA comme Pi-0 de Physical Intelligence et GR00T N2 de NVIDIA. Sur le plan concurrentiel, des approches comme NoMaD, ViNT ou les stacks Nav2/ROS 2 restent des références opérationnelles sur AMR commerciaux, et WAM-Nav devra être comparé à ces systèmes dans des conditions contrôlées identiques pour confirmer sa supériorité pratique. L'étape suivante naturelle serait une validation sur des plateformes matérielles réelles en conditions industrielles, dont aucun partenariat ni timeline n'est annoncé à ce stade.

RecherchePaper

1 source

3arXiv cs.RO

FutureNav : modélisation unifiée monde-action pour la navigation vision-langage

FutureNav est un cadre de modélisation unifiée monde-action pour la navigation vision-langage (VLN) en environnements continus, présenté sous forme de preprint sur arXiv (arXiv:2606.30367). Le système encode conjointement des features textuelles, visuelles et spatiales dans un grand modèle de langage, entraîné sur quatre objectifs simultanés : prédiction d'action de navigation, dynamiques inverse et forward pour modéliser les transitions d'états, et génération future pour anticiper les états spatiaux à venir. Avec un backbone de 4 milliards de paramètres, FutureNav revendique des performances state-of-the-art sur plusieurs benchmarks VLN, surpassant les méthodes antérieures selon ses auteurs. Le code et les modèles seront publiés en open source. La contribution centrale est architecturale : la plupart des modèles de navigation fondationnels récents traitent la tâche comme une génération directe d'actions, sans modéliser explicitement l'état du monde ni son évolution future. FutureNav cherche à combler cet écart en forçant le modèle à représenter des transitions d'états, ce qui est censé renforcer la robustesse sur des séquences d'actions longues en environnement non discrétisé. Pour les chercheurs en navigation incarnée ou les intégrateurs de robots mobiles autonomes, cela pointe vers une approche où le raisonnement spatial prospectif améliore la politique d'action sans surcoût d'inférence notable, un point clé pour l'embarqué. La VLN en environnements continus est un domaine actif depuis les benchmarks R2R, VLN-CE et REVERIE. Des travaux comme NavGPT, MapGPT ou EmbodiedScan ont scalé des VLM sur la navigation, mais en mode "action pure". FutureNav s'inscrit dans la tendance des world models appliqués à la navigation incarnée, parallèlement aux approches VLA comme OpenVLA ou aux travaux de DeepMind sur la robotique prédictive. Il s'agit pour l'instant d'un preprint non évalué par les pairs, et les gains annoncés sur les benchmarks méritent une vérification indépendante avant conclusions définitives. La prochaine étape annoncée est la publication publique du code.

RechercheActu

1 source

4arXiv cs.RO

DriftWorld : modélisation rapide du monde par dérive

Des chercheurs présentent DriftWorld dans un article publié sur arXiv (2607.15065v1), un modèle du monde conditionné par l'action destiné à la planification robotique. Contrairement aux modèles de diffusion classiques qui nécessitent un débruitage itératif à chaque inférence, DriftWorld apprend pendant l'entraînement un "drift" conditionné par l'action, ce qui lui permet de générer les images futures à partir de l'observation courante et d'une séquence d'actions candidates en une seule passe avant. Résultat : plus de 30 images par seconde, soit une vitesse 17 fois supérieure en moyenne aux modèles de diffusion de référence. Les auteurs évaluent leur approche sur les benchmarks standards de manipulation robotique par vision, Bridge-V2, RT-1, Language Table, Push-T et Robomimic, où DriftWorld atteint des performances de décision état de l'art tout en consommant nettement moins de temps de calcul à l'inférence. Le modèle sert aussi de simulateur hors ligne pour classer des politiques de robots réels, avec des scores de rollout corrélés jusqu'à 0,99 avec la vérité terrain. Cette avancée cible un goulot d'étranglement bien identifié : les modèles du monde basés sur la diffusion permettent d'imaginer les conséquences d'une action avant de l'exécuter, mais leur lenteur limite la recherche d'actions à grande échelle en temps réel, un frein direct pour le contrôle robotique embarqué. En rendant chaque rollout quasi instantané sans sacrifier la précision, DriftWorld ouvre la voie à une exploration beaucoup plus large de l'espace des actions au moment de la décision, un enjeu central pour les intégrateurs qui cherchent à déployer des politiques robustes sans multiplier les essais physiques coûteux. Sa capacité à évaluer des politiques hors ligne avec une forte corrélation à la réalité terrain en fait aussi un outil potentiel pour tester des comportements robotiques avant tout déploiement réel. Le papier s'inscrit dans la lignée des travaux récents sur les modèles du monde vidéo pour la robotique, où la diffusion domine depuis plusieurs années malgré son coût d'inférence. Il s'agit ici d'une contribution de recherche académique, sans annonce de produit ni de déploiement industriel : les auteurs positionnent les modèles à drift comme une alternative crédible pour l'imagination rapide au service de la planification et de l'évaluation de politiques, sans préciser à ce stade de calendrier d'intégration commerciale.

RecherchePaper

1 source