RecherchearXiv cs.RO 28 octobre 2026

RynnWorld-Latent : un modèle du monde inter-embodiments conditionné par des actions latentes universelles

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

RynnWorld-Latent est un modèle de monde vidéo cross-embodiment, présenté sur arXiv (2610.36791v1) et construit sur les « actions latentes » ancrées en 3D introduites par RynnLAM. Ces actions servent d'interface de conditionnement commune, ce qui permet de pré-entraîner un même modèle sur des vidéos d'interactions humaines, des démonstrations de robots et des rollouts de simulation, sans espace d'action natif partagé. L'architecture repose sur un transformeur vidéo pré-entraîné. Elle combine des tokens d'action globaux et une voie locale initialisée à l'identité, qui aligne les actions sur les latents vidéo futurs. Le pré-entraînement couvre 23 jeux de données, soit environ 553,5 millions d'images, puis le modèle est adapté à des robots cibles par post-entraînement. Deux routes de génération de données sont proposées. La téléopération numérique utilise les commandes du robot cible pour produire des démonstrations action-vidéo. La synthèse par actions latentes transfère un mouvement source vers une première image éditée, puis associe le rollout obtenu à de fausses actions robot retargetées. Les auteurs annoncent de meilleures métriques de prédiction vidéo sur des benchmarks publics et sur deux plateformes robotiques réelles.

L'intérêt tient au verrou que ce travail vise : les embodiments utilisent des espaces d'action incompatibles, et les vidéos humaines, très abondantes, n'ont aucune étiquette de contrôle. Une représentation latente unifiée permettrait d'exploiter ces volumes sans reconvertir chaque jeu de données. Pour un intégrateur ou une équipe R&D, la promesse est de réduire le coût des démonstrations réelles en les complétant par des données synthétiques contrôlables. Les résultats vont dans ce sens : la mi-formation synthétique améliore les taux de succès des politiques sur LIBERO et LIBERO-Plus, et les deux routes de génération dépassent l'entraînement sur démonstrations réelles seules en conditions réelles. Il faut toutefois rester prudent : il s'agit d'un papier académique, sans produit ni déploiement industriel, et les gains sont mesurés « dans les réglages évalués », sur un nombre limité de plateformes. LIBERO reste un benchmark de simulation, et l'action following est démontrée surtout de façon qualitative. Le papier ne résout donc pas à lui seul le fossé sim-to-real.

Ce travail s'inscrit dans la montée des modèles de monde pour la robotique, aux côtés de l'écosystème RynnLAM et d'approches concurrentes comme GR00T de NVIDIA ou les efforts de Physical Intelligence autour de Pi-0, qui cherchent aussi à mutualiser des données hétérogènes. L'idée d'actions latentes apprises à partir de vidéos sans étiquettes fait déjà l'objet de plusieurs travaux. L'apport ici est l'échelle du pré-entraînement et le couplage avec la génération de données pour politiques. La suite dépendra de la publication éventuelle du code et des poids, et de validations sur davantage de robots et de tâches longues, avant tout transfert vers des lignes de production.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 World models arXiv cs.RO

À lire aussi

1arXiv cs.RO

RynnWorld-Teleop : un modèle du monde conditionné par l'action pour la téléopération numérique

Des chercheurs viennent de publier RynnWorld-Teleop (arXiv:2607.06558v1), un système de "téléopération numérique" qui remplace le robot physique par un modèle du monde génératif. Le principe : un flux de poses de main capturé chez l'opérateur pilote un modèle génératif centré-robot qui synthétise, à partir d'une seule image de référence, une vidéo égocentrique haute fidélité simulant ce que verrait le robot en exécutant le geste. Ce flux de poses sert d'étiquette d'action indépendante de l'embodiment, transférable à n'importe quel robot cible via un retargeting standard, ce qui produit des trajectoires état-action complètes sans jamais toucher de matériel réel. Techniquement, le pipeline combine un conditionnement squelettique sensible à la profondeur, un entraînement progressif humain-vers-robot sur un Diffusion Transformer vidéo, et une distillation autorégressive en streaming qui compresse le processus génératif en une seule passe d'inférence, atteignant plus de 40 images par seconde en génération interactive temps réel sur un seul GPU H100. L'enjeu dépasse la prouesse technique : la collecte de données robotiques massives et diversifiées est aujourd'hui bridée par la téléopération physique, où chaque démonstration immobilise du temps opérateur sur un matériel et un espace de travail précis. En découplant la collecte des contraintes physiques, RynnWorld-Teleop promet de faire chuter drastiquement le coût par trajectoire. Les auteurs rapportent que des politiques entraînées exclusivement sur des données générées par leur système atteignent un transfert Sim2Real en zero-shot sur des tâches bimanuelles dextres et variées, et que l'ajout de ces données synthétiques à des jeux réels améliore systématiquement les taux de réussite, un signal fort pour ceux qui cherchent à faire passer les architectures VLA à l'échelle sans exploser les budgets de collecte terrain. Ce travail s'inscrit dans une tendance plus large de modèles du monde génératifs utilisés comme moteurs de données pour l'apprentissage par imitation, en écho à des approches comme les VLA à grande échelle (Pi-0, GR00T). Il s'agit pour l'instant d'une publication de recherche, sans déploiement industriel ni partenariat annoncé, et la prochaine étape naturelle serait une validation sur des plateformes robotiques commerciales tierces.

RecherchePaper

1 source

2arXiv cs.RO

Modèles du monde fondation pour la robotique multi-embodiment, fondés sur des actions latentes

Des chercheurs proposent LAC-WM (Latent Action-Conditioned Robot World Model), un modèle du monde robotique qui fonctionne dans un espace d'actions latent unifié, appris et partagé entre embodiments très différents. Il est comparé à une variante de référence, EAC-WM (Explicit Action-Conditioned World Model), conditionnée par des étiquettes de mouvement explicites propres à chaque robot. Les deux modèles sont évalués sur des tâches de manipulation dextre et sur une version modifiée du benchmark LIBERO. Lors de l'adaptation à des robots absents du pré-entraînement, LAC-WM améliore la performance aval jusqu'à 46,7 % sur la manipulation dextre et 11,7 % sur LIBERO. Le travail, publié sur arXiv (2610.10846v1), s'accompagne d'un site de projet (lacwm.github.io). Le résumé ne précise ni les robots testés, ni la taille des modèles, ni les volumes de données de pré-entraînement. Le résultat le plus significatif concerne le passage à l'échelle. La performance de LAC-WM augmente avec le nombre d'embodiments vus au pré-entraînement. À l'inverse, celle d'EAC-WM diminue quand ce nombre croît. Selon les auteurs, des étiquettes d'action explicites produisent des représentations disjointes d'un robot à l'autre, et ajouter des plateformes crée alors de l'interférence plutôt que du transfert. Pour les équipes qui construisent des modèles fondations robotiques, cela remet en cause l'idée qu'agréger davantage de données hétérogènes améliore mécaniquement la généralisation. L'espace d'action serait un goulot d'étranglement central, et pas seulement le volume de données. Pour un intégrateur, l'enjeu est concret : si ce principe se confirme, un modèle du monde pré-entraîné pourrait être adapté à une nouvelle plateforme avec moins de données propriétaires. Les gains annoncés sont toutefois mesurés sur des benchmarks, dont un LIBERO modifié, et non sur des déploiements industriels. Le gain de 11,7 % sur LIBERO est modeste, et l'écart de 46,7 % dépend de la base de comparaison choisie par les auteurs. On parle ici de résultats de recherche, pas d'un produit livré. Ce travail s'inscrit dans la course aux modèles généralistes cross-embodiment, où les approches VLA (vision-langage-action) comme Pi-0 ou GR00T se heurtent à la diversité des espaces d'action, entre bras à 6 ou 7 DOF, mains dextres et humanoïdes. Les modèles du monde, qui prédisent l'évolution de la scène en fonction des actions, sont devenus un axe parallèle pour la planification et l'évaluation des politiques. Les actions latentes, apprises à partir des seules transitions visuelles, offrent une voie pour exploiter de grandes quantités de vidéos sans étiquettes d'action. Le papier est une prépublication v1, sans relecture par les pairs. Il faudra surveiller la publication du code et des poids, des tests sur du matériel réel, ainsi que des comparaisons directes avec d'autres modèles du monde cross-embodiment pour savoir si l'effet de passage à l'échelle se maintient avec des dizaines de plateformes.

RecherchePaper

1 source

3arXiv cs.RO

WorldOracle : évaluation des modèles du monde conditionnés par l'action face aux exécutions réelles

WorldOracle, un benchmark publié sur arXiv (version 2 du preprint 2610.18826), vise à mesurer si les modèles du monde conditionnés par l'action (ACWM, action-conditioned world models) reproduisent fidèlement ce qui se passe réellement lorsqu'un robot exécute une séquence d'actions. À partir de la même observation initiale et de la même séquence d'actions bas niveau, le test compare le déroulé prédit à l'exécution réelle appariée, en vérifiant les conséquences physiques et les transitions d'état de la tâche. Quatre dimensions sont notées : correction de l'état physique, alignement spatial de l'interaction, fidélité de la zone d'interaction clé et cohérence des actions entre plusieurs vues. Les auteurs ont constitué des jeux d'entraînement et d'évaluation issus du monde réel, couvrant différentes dynamiques d'interaction et plusieurs morphologies de robots. La suite d'évaluation comprend de longs épisodes en plusieurs segments, avec des exécutions réussies et des échecs. Sept ACWM représentatifs ont été testés, et les résultats font apparaître des forces et des modes de défaillance distincts selon les modèles. Données, code d'évaluation et classement public sont publiés. L'intérêt tient à ce que les modèles du monde sont de plus en plus utilisés comme simulateurs appris pour évaluer des politiques de manipulation ou générer des données, alors que leur évaluation reste souvent visuelle. Un rendu plausible à l'œil ne garantit pas que les conséquences physiques soient correctes, par exemple qu'un objet glisse, tombe ou change d'état comme dans la réalité. En intégrant des échecs d'exécution et pas seulement des réussites, WorldOracle teste un point critique : un modèle qui ne sait prédire que des trajectoires réussies ne peut servir ni à classer des politiques ni à détecter leurs défauts. Pour les intégrateurs et les décideurs, c'est un outil pour juger si un modèle du monde peut réduire le coût des essais sur robot réel. L'article ne chiffre toutefois pas ici les scores, ni ne nomme les sept modèles dans son résumé, ce qui limite la lecture sans consulter le papier complet. Le contexte est celui d'une multiplication de modèles du monde pour la robotique, portés par des laboratoires académiques et industriels, avec des benchmarks surtout centrés sur la qualité vidéo ou des métriques perceptuelles. WorldOracle s'inscrit dans le courant qui exige un ancrage dans l'exécution réelle, et son classement ouvert doit permettre de comparer les prochains modèles de façon reproductible. Il s'agit d'un travail de recherche, sans déploiement industriel ni produit associé. La suite dépendra de son adoption par la communauté et de la corrélation qui sera démontrée entre les scores du benchmark et la performance réelle des politiques évaluées en simulation apprise.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

XEWorld : les modèles du monde conditionnés par l'action se généralisent-ils à des robots inédits ?

XEWorld, un banc d'essai contrôle présente par une équipe de recherche, évalué si les modèles du monde conditionnes par l'action, des simulateurs appris pour la manipulation robotique, généralisent a des robots jamais vus pendant l'entrainement. Le protocole isole la variable embodiment en testant des robots non vus dans des scènes physiquement identiques a celles de l'entrainement. Le constat est net: les modèles actuels se comportent avant tout comme des systèmes d'appariement visuel en 2D, dont la généralisation dépend de la similarité visuelle avec les robots déjà vus, et non de la similarité cinématique réelle. Consequence directe, ils peinent a traduire une commande articulaire numérique en trajectoire visuelle cohérente et échouent a prédire une évolution dynamique de la scene a partir d'une simple image statique de départ. Pour rendre correctement un embodiment inédit en zero-shot, il faut leur fournir des actions déjà projetées dans l'espace des pixels et un alignement spatio-temporel explicite, ce qui contourne le problème plutôt que de le résoudre. Meme quand l'adaptation few-shot permet de récupérer l'apparence du nouveau robot, elle declenche un oubli catastrophique des embodiments déjà appris. Ce résultat pèse directement sur l'industrie robotique: les modèles du monde sont promus comme des simulateurs bon marche pour entrainer des politiques VLA telles que Pi-0, GR00T N2 ou Helix, en complément ou en remplacement de la collecte de données réelles et des moteurs physiques classiques. Si ces simulateurs appris ne généralisent pas au-delà des robots vus a l'entrainement, chaque nouvel humanoïde, bras industriel ou plateforme mobile nécessiterait son propre modèle reentraine, ce qui fragilise la promesse d'un simulateur généraliste réutilisable d'un intégrateur a l'autre. L'étude agit aussi comme un correctif face a l'enthousiasme autour des architectures cross-embodiment: la généralisation apparente de certaines démonstrations tiendrait davantage a une ressemblance d'aspect entre robots qu'a une compréhension de la physique sous-jacente, un signal d'alerte pour quiconque évalué des annonces de transfert zero-shot entre plateformes. Cette limite s'inscrit dans une course plus large ou des laboratoires comme Google DeepMind, NVIDIA ou Physical Intelligence développent des modèles du monde et des politiques généralistes censées piloter des robots très différents avec un seul réseau, une démarche destinée a réduire le cout de la collecte de données robot par robot. XEWorld, publie en preprint sur arXiv début aout 2026, ne remet pas en cause l'utilité des modèles du monde en soi mais isole précisément le point de blocage actuel: la confusion entre apparence visuelle et dynamique physique. Les auteurs appellent a des innovations architecturales qui découplent explicitement ces deux dimensions, une piste qui conditionnera la capacité des prochaines générations de simulateurs appris a soutenir un entrainement véritablement cross-embodiment plutôt qu'un simple recyclage visuel de robots déjà connus.

RecherchePaper

1 source