RecherchearXiv cs.RO 12 octobre 2026

KineWorld : champs de transport induits par l'action pour la modélisation du monde incarnée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

KineWorld, un cadre de modélisation du monde incarné publié sur arXiv (2610.06349, version 2), propose de réorienter la supervision générative vers les zones de l'image où le robot agit réellement. Le système repose sur deux briques. Kinematic Transport Lifting (KTL) construit des champs de transport alignés sur la caméra, dérivés d'un rendu du robot, à partir des mouvements commandés. Transport-Aware World Diffusion (TAWD) calibre le support de ces mouvements sur la grille de latents vidéo, puis repondère la perte de flow matching sur les images RGB futures, via un mélange normalisé entre une distribution uniforme et une distribution concentrée sur le transport. L'entraînement utilise des données de manipulation bimanuelle ALOHA-AgileX issues de RoboTwin 2.0. Les auteurs rapportent un EWMScore-P de 68,95 en évaluation monovue et un TWB-Score de 54,82 en évaluation multivue.

L'enjeu est de corriger un défaut connu des modèles du monde conditionnés par l'action. Ces modèles prédisent les conséquences visuelles d'une action avant son exécution, mais leurs objectifs de génération pondèrent tous les pixels de manière égale. Or les changements décisifs pour l'interaction (une pince qui se referme, un objet qui bascule) occupent une faible portion de l'image. Même avec un conditionnement explicite par le mouvement, la perte tend à privilégier l'apparence globale au détriment de ces zones. En utilisant la cinématique du robot pour décider où concentrer la supervision, et plus seulement comme signal d'entrée, KineWorld plaide pour passer de l'ajustement d'apparence à la modélisation des conséquences de l'action. Cette distinction compte pour qui veut employer ces modèles en planification ou en évaluation de politiques, où la fidélité de la dynamique de contact prime sur la qualité visuelle moyenne. Les scores avancés restent toutefois difficiles à interpréter hors contexte. L'article ne donne ici aucun point de comparaison chiffré avec d'autres méthodes, et l'évaluation se fait sur un seul type de plateforme, en simulation.

Ce travail s'inscrit dans la montée des modèles du monde pour la robotique, où la vidéo générative sert de simulateur appris pour anticiper les effets d'une action ou tester des politiques sans matériel. RoboTwin 2.0 est devenu un banc d'essai de référence pour la manipulation bimanuelle en simulation, et les métriques EWMScore et TWB-Score relèvent de benchmarks dédiés aux modèles du monde incarnés. Aucune validation sur robot réel, aucun déploiement ni calendrier de suite n'est annoncé dans ce résumé. Il s'agit donc d'une contribution de recherche, dont la valeur dépendra de sa reproductibilité et de sa capacité à se généraliser à d'autres morphologies, au-delà du dispositif à deux bras étudié.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Video2World : un banc d'essai d'agents de code pour la modélisation interactive du monde à partir de vidéos incarnées

Une équipe de chercheurs publie Video2World, un benchmark qui teste si des agents de code adossés à des modèles de fondation peuvent transformer une vidéo embodied en simulateur interactif, sans intervention humaine. La tâche, baptisée « vidéo-to-simulation autonome », est posée comme un problème d'ingénierie logicielle. L'agent observe une vidéo de démonstration (robot ou humain), construit l'environnement simulé et le comportement du robot correspondants, puis affine le résultat grâce au retour d'exécution. Le benchmark compte 222 instances de reconstruction issues de 189 vidéos. Il note les mondes reconstruits selon trois axes : la fidélité géométrique (perception spatiale), la fidélité dynamique (raisonnement physique) et la justesse fonctionnelle (capacité à exécuter une interaction). Neuf systèmes d'agents de code de pointe ont été évalués. Le taux de réussite de la tâche passe de moins de 5 % à plus de 15 % à partir de Claude Opus 5. L'écart avec une reconstruction assistée par des humains reste important. L'enjeu est direct pour quiconque produit des données d'entraînement pour la robotique. Aujourd'hui, construire un environnement de simulation à partir d'observations réelles demande beaucoup de travail manuel, de modélisation de scène et de calibration. C'est un goulot d'étranglement pour passer à l'échelle des données embodied, par exemple pour entraîner des politiques VLA (vision-langage-action) ou générer des jeux de test reproductibles. Le saut observé suggère que les capacités de génie logiciel agentique commencent à toucher ce problème, mais un taux de succès d'environ 15 % reste très loin d'un pipeline industriel fiable. Le résultat le plus instructif est ailleurs : les mondes qui paraissent meilleurs ne fonctionnent pas forcément mieux, et une fidélité visuelle accrue ne garantit pas un meilleur taux de réussite. Cela rappelle l'écart, déjà connu avec les modèles génératifs, entre réalisme perceptif et exactitude factuelle. Pour les équipes qui évaluent des « world models » ou des simulateurs générés, juger sur le rendu est donc un mauvais indicateur, et il faut mesurer la dynamique et l'exécution. Ce travail s'inscrit dans la course à l'automatisation de la création de simulateurs, où se croisent les modèles de monde génératifs vidéo, les pipelines de reconstruction 3D et les approches « real-to-sim » encore très manuelles. Le choix de cadrer le problème comme une tâche d'agent de code, avec boucle d'exécution et correction, déplace la question de la génération de pixels vers la production de code de simulation exécutable. Il s'agit d'une publication académique sur arXiv (v2) et non d'un produit livré : aucun déploiement industriel ni acteur européen n'est mentionné dans le résumé. Les suites probables sont l'évaluation de nouveaux agents sur le benchmark, la mesure de l'écart restant avec les humains et, à terme, l'usage de ces mondes reconstruits pour générer des données d'entraînement. La preuve que ces mondes améliorent réellement des politiques robotiques reste à apporter.

RecherchePaper

1 source

2arXiv cs.RO

UNITAS : un modèle d'action du monde natif 3D pour la manipulation incarnée

UNITAS, un modèle d'action-monde (WAM, world action model) publié sur arXiv par l'équipe derrière le dépôt DexForce, se présente comme le premier à travailler nativement en 3D. Il unifie observations, actions et dynamique de scène dans un repère métrique 3D partagé, avec une représentation commune pour différents robots et pour la main humaine. Les actions des mains et des pinces sont encodées en trajectoires de points 3D (« action flow »). Les déplacements des points de la scène (« scene flow ») sont prédits en conditionnant sur ces trajectoires. Des embeddings positionnels 3D alignés sur le monde ancrent les tokens visuels, avec ou sans entrée de profondeur. Un tokenizer de trajectoires en temps physique encode chaque trajectoire en un seul token, ancré à sa position 3D courante. Avec 1,7 milliard de paramètres, UNITAS affiche la meilleure prédiction de scène conditionnée par l'action sur RoboTwin parmi les méthodes comparées, avec jusqu'à 49 % d'erreur de déplacement en moins que PointWorld. Il atteint aussi 99,8 % de succès sur LIBERO et 85 % en moyenne sur des tâches en conditions réelles. Le code est publié sur GitHub. L'enjeu est un changement de représentation. La plupart des WAM actuels reposent sur des générateurs vidéo pré-entraînés et décrivent l'évolution du monde par des images ou des latents visuels. Or une image est une projection dépendante du point de vue, dont les distances en pixels ne correspondent pas aux distances physiques. En raisonnant directement en espace métrique, UNITAS vise à rapprocher la prédiction de ce que le robot doit réellement mesurer: où va sa pince, de combien l'objet se déplace. La représentation commune humain/robot ouvre aussi la voie à l'exploitation de données de mains humaines pour l'entraînement. Un modèle de 1,7 milliard de paramètres reste compact face aux gros VLA (vision-language-action) et aux modèles vidéo, ce qui compte pour le coût d'inférence embarquée. Les réserves habituelles s'appliquent: LIBERO est proche de la saturation à 99,8 %, donc peu discriminant, et la moyenne de 85 % en réel dépend de tâches, d'un nombre d'essais et d'un matériel que le résumé ne détaille pas. Les comparaisons de scène se limitent aux « méthodes comparées » choisies par les auteurs. Ce travail s'inscrit dans la montée des world models pour la manipulation, après les VLA de type Pi-0 ou GR00T, et des approches fondées sur la génération vidéo. Il se positionne contre ces dernières en s'inspirant de PointWorld, qui prédit déjà des mouvements de points 3D et sert ici de référence. Il s'agit à ce stade d'un préprint (v1) de recherche, sans produit commercial, déploiement industriel ni calendrier annoncé. La suite dépendra de la reproduction des résultats par d'autres équipes grâce au code ouvert, de la robustesse hors des benchmarks simulés et de la capacité du modèle à passer à l'échelle avec davantage de données humaines et multi-embodiments.

RecherchePaper

1 source

3arXiv cs.RO

WorldSimProbe : évaluer la fidélité des simulateurs dans les modèles du monde conditionnés par l'action pour la manipulation incarnée

Un article publié sur arXiv en août 2026 (arXiv:2608.09298) présente WorldSimProbe, un cadre destiné à tester la fidélité des modèles du monde conditionnés par l'action (ACWM), ces simulateurs neuronaux censés prédire les effets des actions d'un robot manipulateur. Les auteurs formalisent un « Observable Simulator Contract » : les actions fournies doivent produire un mouvement cohérent de l'agent, et les réponses de l'environnement doivent rester ancrées dans ce mouvement réellement exécuté. Le cadre comprend cinq suites de tests, couvrant la sensibilité au contrôle local, la variation de trajectoire globale, la diversité des sources d'action, l'ancrage des interactions et la dynamique physique élémentaire. Six ACWM open source ont été évalués sur plus de 18 000 instances, réparties sur trois bancs d'essai existants pour la manipulation robotique : RoboTwin, ManiSkill et LIBERO. Les résultats révèlent une dégradation systématique de la correspondance action-mouvement dès que la variation de contrôle augmente, ainsi que des défaillances structurelles dans l'ancrage des interactions et la modélisation de la dynamique. Ce constat contredit l'idée, répandue dans le secteur, que les modèles du monde généralistes pourraient déjà remplacer les moteurs physiques classiques pour entraîner des politiques VLA ou générer des données synthétiques à grande échelle. Les évaluations habituelles, centrées sur la qualité visuelle des vidéos générées ou le taux de réussite final d'une tâche, masquaient jusqu'ici ces défauts de causalité action-effet. Les signaux produits par WorldSimProbe restent néanmoins cohérents avec les jugements humains, ce qui en fait un outil diagnostique exploitable pour les laboratoires et intégrateurs qui envisagent ces simulateurs pour du planning ou de l'évaluation de politiques avant déploiement réel. Ce travail s'inscrit dans la montée en puissance des modèles du monde conditionnés par l'action comme alternative moins coûteuse aux simulateurs physiques traditionnels pour la robotique manipulative, une piste explorée en parallèle par plusieurs laboratoires d'IA incarnée. Jusqu'ici, l'essentiel des publications du domaine évaluait ces modèles à l'échelle du rollout complet, sans isoler la correspondance élémentaire entre une action donnée et le mouvement réellement induit. En s'appuyant sur trois bancs d'essai déjà utilisés pour l'apprentissage de politiques robotiques, les auteurs proposent un paradigme standardisé et reproductible, destiné à servir de test systématique pour tout nouvel ACWM revendiquant une utilité en planification ou en génération de données, plutôt qu'un simple générateur vidéo plausible.

RecherchePaper

1 source

4arXiv cs.RO

Modèle vision-langage-action débiaisé causalement pour modèles du monde conditionnés par l'action incarnée

Des chercheurs publient sur arXiv (arXiv:2607.09185v1) un nouveau framework baptisé CD-LAM, destiné à améliorer les modèles du monde conditionnés par l'action (ACWM), ces systèmes qui simulent les observations futures d'un robot en fonction des actions qu'il pourrait exécuter. Ces modèles reposent sur des données massives étiquetées avec les actions correspondantes, coûteuses à collecter en conditions réelles. Pour contourner ce goulot d'étranglement, les modèles d'action latente (LAM) infèrent des actions directement depuis des vidéos non étiquetées, mais souffrent d'un biais connu : entraînés uniquement sur des objectifs de reconstruction, ils mélangent la dynamique liée à l'action avec des éléments visuels non pertinents comme l'arrière-plan ou des objets non manipulés. CD-LAM introduit trois objectifs de fine-tuning complémentaires, une reconstruction centrée sur le corps du robot, un apprentissage contrastif centré sur l'action, et une calibration de l'espace latent, pour produire des représentations plus fidèles et non dégénérées. Testé sur des backbones ACWM de 2 et 14 milliards de paramètres, CD-LAM améliore la contrôlabilité des actions latentes, le suivi des commandes en aval, la fidélité visuelle, et ne nécessite que 6 000 étapes de fine-tuning, soit plus de 12 fois moins de mises à jour d'adaptation que la méthode de référence. L'enjeu dépasse la seule performance technique : réduire d'un facteur 12 le coût d'adaptation d'un modèle du monde à un nouveau robot ou une nouvelle tâche s'attaque directement au principal frein à l'échelle des politiques robotiques actuelles, la rareté des données actions-étiquetées réelles. Ce type de travail nourrit la course aux modèles VLA (vision-language-action) comme Pi-0, GR00T N2 ou Helix, où la capacité à généraliser à partir de peu de démonstrations conditionne la viabilité commerciale des humanoïdes. Il faut toutefois distinguer clairement ce résultat, une contribution de recherche à l'échelle du benchmark, d'un déploiement en production. CD-LAM s'inscrit dans la lignée des travaux récents sur les modèles d'action latente, une direction de recherche née du constat que l'étiquetage manuel des actions robotiques ne passera jamais à l'échelle des humanoïdes commerciaux. L'abstract ne cite ni laboratoire ni entreprise précise, signe d'une publication académique classique plutôt que d'une annonce produit. Les auteurs évoquent des pistes de suite via l'adaptation à davantage de plateformes robotiques et de backbones plus larges, sans calendrier de déploiement communiqué.

RecherchePaper

1 source