RecherchearXiv cs.RO 7 août 2026

XEWorld : les modèles du monde conditionnés par l'action se généralisent-ils à des robots inédits ?

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

XEWorld, un banc d'essai contrôle présente par une équipe de recherche, évalué si les modèles du monde conditionnes par l'action, des simulateurs appris pour la manipulation robotique, généralisent a des robots jamais vus pendant l'entrainement. Le protocole isole la variable embodiment en testant des robots non vus dans des scènes physiquement identiques a celles de l'entrainement. Le constat est net: les modèles actuels se comportent avant tout comme des systèmes d'appariement visuel en 2D, dont la généralisation dépend de la similarité visuelle avec les robots déjà vus, et non de la similarité cinématique réelle. Consequence directe, ils peinent a traduire une commande articulaire numérique en trajectoire visuelle cohérente et échouent a prédire une évolution dynamique de la scene a partir d'une simple image statique de départ. Pour rendre correctement un embodiment inédit en zero-shot, il faut leur fournir des actions déjà projetées dans l'espace des pixels et un alignement spatio-temporel explicite, ce qui contourne le problème plutôt que de le résoudre. Meme quand l'adaptation few-shot permet de récupérer l'apparence du nouveau robot, elle declenche un oubli catastrophique des embodiments déjà appris.

Ce résultat pèse directement sur l'industrie robotique: les modèles du monde sont promus comme des simulateurs bon marche pour entrainer des politiques VLA telles que Pi-0, GR00T N2 ou Helix, en complément ou en remplacement de la collecte de données réelles et des moteurs physiques classiques. Si ces simulateurs appris ne généralisent pas au-delà des robots vus a l'entrainement, chaque nouvel humanoïde, bras industriel ou plateforme mobile nécessiterait son propre modèle reentraine, ce qui fragilise la promesse d'un simulateur généraliste réutilisable d'un intégrateur a l'autre. L'étude agit aussi comme un correctif face a l'enthousiasme autour des architectures cross-embodiment: la généralisation apparente de certaines démonstrations tiendrait davantage a une ressemblance d'aspect entre robots qu'a une compréhension de la physique sous-jacente, un signal d'alerte pour quiconque évalué des annonces de transfert zero-shot entre plateformes.

Cette limite s'inscrit dans une course plus large ou des laboratoires comme Google DeepMind, NVIDIA ou Physical Intelligence développent des modèles du monde et des politiques généralistes censées piloter des robots très différents avec un seul réseau, une démarche destinée a réduire le cout de la collecte de données robot par robot. XEWorld, publie en preprint sur arXiv début aout 2026, ne remet pas en cause l'utilité des modèles du monde en soi mais isole précisément le point de blocage actuel: la confusion entre apparence visuelle et dynamique physique. Les auteurs appellent a des innovations architecturales qui découplent explicitement ces deux dimensions, une piste qui conditionnera la capacité des prochaines générations de simulateurs appris a soutenir un entrainement véritablement cross-embodiment plutôt qu'un simple recyclage visuel de robots déjà connus.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

RynnWorld-Latent : un modèle du monde inter-embodiments conditionné par des actions latentes universelles

RynnWorld-Latent est un modèle de monde vidéo cross-embodiment, présenté sur arXiv (2610.36791v1) et construit sur les « actions latentes » ancrées en 3D introduites par RynnLAM. Ces actions servent d'interface de conditionnement commune, ce qui permet de pré-entraîner un même modèle sur des vidéos d'interactions humaines, des démonstrations de robots et des rollouts de simulation, sans espace d'action natif partagé. L'architecture repose sur un transformeur vidéo pré-entraîné. Elle combine des tokens d'action globaux et une voie locale initialisée à l'identité, qui aligne les actions sur les latents vidéo futurs. Le pré-entraînement couvre 23 jeux de données, soit environ 553,5 millions d'images, puis le modèle est adapté à des robots cibles par post-entraînement. Deux routes de génération de données sont proposées. La téléopération numérique utilise les commandes du robot cible pour produire des démonstrations action-vidéo. La synthèse par actions latentes transfère un mouvement source vers une première image éditée, puis associe le rollout obtenu à de fausses actions robot retargetées. Les auteurs annoncent de meilleures métriques de prédiction vidéo sur des benchmarks publics et sur deux plateformes robotiques réelles. L'intérêt tient au verrou que ce travail vise : les embodiments utilisent des espaces d'action incompatibles, et les vidéos humaines, très abondantes, n'ont aucune étiquette de contrôle. Une représentation latente unifiée permettrait d'exploiter ces volumes sans reconvertir chaque jeu de données. Pour un intégrateur ou une équipe R&D, la promesse est de réduire le coût des démonstrations réelles en les complétant par des données synthétiques contrôlables. Les résultats vont dans ce sens : la mi-formation synthétique améliore les taux de succès des politiques sur LIBERO et LIBERO-Plus, et les deux routes de génération dépassent l'entraînement sur démonstrations réelles seules en conditions réelles. Il faut toutefois rester prudent : il s'agit d'un papier académique, sans produit ni déploiement industriel, et les gains sont mesurés « dans les réglages évalués », sur un nombre limité de plateformes. LIBERO reste un benchmark de simulation, et l'action following est démontrée surtout de façon qualitative. Le papier ne résout donc pas à lui seul le fossé sim-to-real. Ce travail s'inscrit dans la montée des modèles de monde pour la robotique, aux côtés de l'écosystème RynnLAM et d'approches concurrentes comme GR00T de NVIDIA ou les efforts de Physical Intelligence autour de Pi-0, qui cherchent aussi à mutualiser des données hétérogènes. L'idée d'actions latentes apprises à partir de vidéos sans étiquettes fait déjà l'objet de plusieurs travaux. L'apport ici est l'échelle du pré-entraînement et le couplage avec la génération de données pour politiques. La suite dépendra de la publication éventuelle du code et des poids, et de validations sur davantage de robots et de tâches longues, avant tout transfert vers des lignes de production.

RecherchePaper

1 source

2arXiv cs.RO

Modèle du monde à action conditionnée : un planificateur d'action généralisable pour la prise de décision

Des chercheurs présentent World Action Planner (WAP), un système de planification robotique combinant un modèle vision-langage (VLM) et un modèle du monde conditionné par les poses et les images, capable de gérer plusieurs tâches. Décrit dans un article arXiv publié fin juillet 2026 (arXiv:2607.27599), le système fonctionne en deux temps : le VLM propose un plan d'action initial à partir d'une consigne, puis ce plan est raffiné de manière itérative par optimisation et recherche, en simulant des trajectoires possibles ("rollouts") dans le modèle du monde avant de les exécuter réellement. Selon les auteurs, WAP surpasse significativement les modèles de bout en bout de référence, à la fois les architectures vision-langage-action (VLA) et les modèles du monde purs (WAM), sur des tâches compositionnelles, des agencements de scène inédits et des scénarios de généralisation zéro-shot. Le projet est documenté sur worldactionplanner.github.io, sans précision sur le matériel robotique utilisé ni sur un calendrier de déploiement. L'enjeu dépasse la performance brute : c'est la capacité de généralisation qui est visée, un point faible connu des politiques par apprentissage par imitation, qui excellent dans leur environnement d'entraînement mais échouent souvent face à une scène ou une tâche nouvelle. En couplant raisonnement symbolique du VLM et vérification physique via simulation interne, WAP s'attaque directement à l'écart entre démonstration contrôlée et robustesse réelle, un sujet central pour les intégrateurs qui cherchent des robots capables de sortir du script préprogrammé. À ce stade, il s'agit toutefois d'un résultat de recherche évalué en simulation ou en environnement contrôlé, pas d'un produit commercial ni d'un déploiement industriel. Ce travail s'inscrit dans la course actuelle autour des modèles VLA (à l'image de Pi-0 ou GR00T N2) et des modèles du monde pour la robotique, deux approches concurrentes pour doter les robots humanoïdes et bras manipulateurs d'une autonomie généralisable. En proposant une architecture hybride qui combine planification par recherche et prédiction du monde plutôt qu'une politique end-to-end unique, les auteurs positionnent WAP comme une alternative aux approches purement VLA, dont les limites de généralisation restent un point de friction reconnu dans le secteur.

RecherchePaper

1 source

3arXiv cs.RO

OSCAR : modèle d'action du monde conditionné par squelette pour robots à morphologies multiples

Des chercheurs ont publié OSCAR (Omni-Embodiment Skeleton-Conditioned World Action Model), un modèle de monde vidéo conditionné par les actions, capable de généraliser à travers différentes morphologies de robots. Décrit dans un preprint arXiv (2606.04463), le système s'appuie sur deux éléments centraux : un pipeline de données à grande échelle qui agrège, filtre et déduplique des jeux de données robotiques et des séquences vidéo égocentrées humaines pour couvrir des tâches, scénarios et morphologies variés ; et un conditionnement par rendu de squelette cinématique 2D, représentation unifiée fonctionnant aussi bien pour des bras robotiques de morphologies différentes que pour des mains humaines. Le modèle de base Cosmos-Predict2.5-2B de NVIDIA a été fine-tuné sur un seul GPU GH200. OSCAR a ensuite été déployé pour évaluer des politiques de contrôle issues de RoboArena, plateforme de benchmark communautaire, et démontre une corrélation significative entre évaluations virtuelles et tests en conditions réelles. L'enjeu central est le sim-to-real gap dans l'évaluation des policies : les environnements de simulation classiques reproduisent mal la physique réelle, rendant les benchmarks peu prédictifs du comportement sur robot physique. OSCAR propose une alternative directe, générer des vidéos conditionnées par les trajectoires d'actions pour simuler l'exécution d'une politique sans déploiement matériel. Si la corrélation annoncée se confirme à plus grande échelle, cela réduirait significativement les coûts et les cycles d'itération pour les équipes développant des VLA (Vision-Language-Action models). La représentation par squelette 2D est également notable : en évitant une spécialisation par embodiment, elle adresse un blocage récurrent de la généralisation multi-robot. Le fine-tuning sur GPU unique, contre des baselines nécessitant des modèles plus grands ou davantage de ressources de calcul, améliore l'accessibilité de l'approche. Les video world models appliqués à la robotique constituent un domaine en forte compétition : UniSim, RoboDreamer et le World Model de 1X Technologies ont chacun tenté d'adresser la simulation vidéo pour l'entraînement ou l'évaluation de robots, avec des résultats limités en diversité de scénarios ou en généralisation inter-embodiment. Le recours au modèle Cosmos de NVIDIA comme base pré-entraînée positionne OSCAR dans l'écosystème robotique croissant de NVIDIA, qui comprend Isaac Lab et GR00T. Les auteurs ouvrent explicitement la perspective d'une évaluation purement virtuelle des politiques robots, une proposition qui intéresse directement les intégrateurs cherchant à réduire les cycles de test hardware. Les étapes naturelles seraient la validation sur des morphologies plus variées, des tâches de manipulation complexes, et un passage à l'échelle vers des configurations multi-GPU.

RechercheOpinion

1 source

4arXiv cs.RO

WorldOracle : évaluation des modèles du monde conditionnés par l'action face aux exécutions réelles

WorldOracle, un benchmark publié sur arXiv (version 2 du preprint 2610.18826), vise à mesurer si les modèles du monde conditionnés par l'action (ACWM, action-conditioned world models) reproduisent fidèlement ce qui se passe réellement lorsqu'un robot exécute une séquence d'actions. À partir de la même observation initiale et de la même séquence d'actions bas niveau, le test compare le déroulé prédit à l'exécution réelle appariée, en vérifiant les conséquences physiques et les transitions d'état de la tâche. Quatre dimensions sont notées : correction de l'état physique, alignement spatial de l'interaction, fidélité de la zone d'interaction clé et cohérence des actions entre plusieurs vues. Les auteurs ont constitué des jeux d'entraînement et d'évaluation issus du monde réel, couvrant différentes dynamiques d'interaction et plusieurs morphologies de robots. La suite d'évaluation comprend de longs épisodes en plusieurs segments, avec des exécutions réussies et des échecs. Sept ACWM représentatifs ont été testés, et les résultats font apparaître des forces et des modes de défaillance distincts selon les modèles. Données, code d'évaluation et classement public sont publiés. L'intérêt tient à ce que les modèles du monde sont de plus en plus utilisés comme simulateurs appris pour évaluer des politiques de manipulation ou générer des données, alors que leur évaluation reste souvent visuelle. Un rendu plausible à l'œil ne garantit pas que les conséquences physiques soient correctes, par exemple qu'un objet glisse, tombe ou change d'état comme dans la réalité. En intégrant des échecs d'exécution et pas seulement des réussites, WorldOracle teste un point critique : un modèle qui ne sait prédire que des trajectoires réussies ne peut servir ni à classer des politiques ni à détecter leurs défauts. Pour les intégrateurs et les décideurs, c'est un outil pour juger si un modèle du monde peut réduire le coût des essais sur robot réel. L'article ne chiffre toutefois pas ici les scores, ni ne nomme les sept modèles dans son résumé, ce qui limite la lecture sans consulter le papier complet. Le contexte est celui d'une multiplication de modèles du monde pour la robotique, portés par des laboratoires académiques et industriels, avec des benchmarks surtout centrés sur la qualité vidéo ou des métriques perceptuelles. WorldOracle s'inscrit dans le courant qui exige un ancrage dans l'exécution réelle, et son classement ouvert doit permettre de comparer les prochains modèles de façon reproductible. Il s'agit d'un travail de recherche, sans déploiement industriel ni produit associé. La suite dépendra de son adoption par la communauté et de la corrélation qui sera démontrée entre les scores du benchmark et la performance réelle des politiques évaluées en simulation apprise.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source