RechercheRobotics Business Review 28 octobre 2026

WorldOracle évalue si les modèles du monde peuvent prédire fidèlement les exécutions dans le monde réel

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs de Princeton, de l'Université du Texas à Austin, de l'Université de Toronto, de NVIDIA et d'AgiBot ont présenté WorldOracle, un benchmark conçu pour évaluer les modèles du monde conditionnés par l'action (ACWM). Le principe est le suivant. Chaque modèle reçoit la première image d'un épisode de manipulation réel et la séquence d'actions exécutée. Il génère alors une vidéo prédite, comparée à l'enregistrement de l'exécution réelle. Sept modèles représentatifs ont été testés, dont DreamDojo, Cosmos 3, IRASim et GE-Sim 2.0. Deux défauts ressortent. Les trajectoires du bras sont plutôt bien prédites, mais la position et le mouvement des objets manipulés s'écartent souvent de la réalité. Les modèles corrects sur un horizon court se dégradent nettement sur des séquences complètes. Les cinq modèles évalués sur les données téléopérées de l'AgiBot G2 obtiennent tous un meilleur score sur le bras que sur l'objet : 78,8 contre 29,1 pour IRASim, 89,4 contre 45,4 pour Cosmos 3. Un exemple illustre l'écart : une prise ratée par le robot est rendue par le modèle comme une saisie réussie du fruit. Depuis le 16 octobre, la plateforme est ouverte aux développeurs, qui soumettent des vidéos générées à partir d'un jeu d'évaluation fourni. Elle accepte les modèles à poids ouverts comme les modèles propriétaires.

Ces modèles servent de plus en plus de simulateurs appris pour évaluer des politiques robotiques ou produire des données d'entraînement. Un rendu plausible à l'écran ne garantit donc pas une fidélité physique. Un simulateur qui valide des saisies jamais réussies fausse l'évaluation d'une politique et peut masquer des défaillances avant un déploiement. Le bras est contraint directement par les actions fournies, alors que l'objet dépend de contacts, de friction et de dynamique, ce qui explique l'écart. Pour les intégrateurs, la dérive sur de longues séquences compte autant, car les tâches industrielles enchaînent prises, placements et corrections. Chaque étape hérite de l'état laissé par la précédente. Il faut néanmoins nuancer. Le benchmark est coécrit par AgiBot, dont le modèle GE-Sim 2.0 figure parmi les évalués, et la plateforme est hébergée par un des acteurs concernés. Les données humaines proviennent de son propre robot G2. Les détails des métriques et des deux modèles restants, évalués sur d'autres données, ne figurent pas dans les éléments disponibles. Les scores sont donc des indications relatives plutôt qu'un classement définitif.

Le contexte est celui d'une course aux « world models » pour la robotique. NVIDIA pousse sa famille Cosmos, AgiBot développe sa lignée GE-Sim et des travaux académiques comme IRASim ont ouvert la voie aux modèles conditionnés par l'action. Jusqu'ici, ces systèmes étaient surtout jugés sur la qualité visuelle ou sur des comparaisons entre modèles. WorldOracle déplace la question vers l'écart avec une exécution réelle, ce qui s'apparente à un test de réalité pour la promesse du simulateur appris. La suite dépendra de l'adoption : le nombre de soumissions, la participation de modèles fermés et l'évolution des scores sur les objets et les longues séquences diront si cet outil devient une référence. L'article scientifique est disponible sur arXiv (2610.18826), et aucun acteur européen n'apparaît parmi les participants cités.

Dans nos dossiers

AgiBot World models arXiv cs.RO

À lire aussi

1arXiv cs.RO

WorldOracle : évaluation des modèles du monde conditionnés par l'action face aux exécutions réelles

WorldOracle, un benchmark publié sur arXiv (version 2 du preprint 2610.18826), vise à mesurer si les modèles du monde conditionnés par l'action (ACWM, action-conditioned world models) reproduisent fidèlement ce qui se passe réellement lorsqu'un robot exécute une séquence d'actions. À partir de la même observation initiale et de la même séquence d'actions bas niveau, le test compare le déroulé prédit à l'exécution réelle appariée, en vérifiant les conséquences physiques et les transitions d'état de la tâche. Quatre dimensions sont notées : correction de l'état physique, alignement spatial de l'interaction, fidélité de la zone d'interaction clé et cohérence des actions entre plusieurs vues. Les auteurs ont constitué des jeux d'entraînement et d'évaluation issus du monde réel, couvrant différentes dynamiques d'interaction et plusieurs morphologies de robots. La suite d'évaluation comprend de longs épisodes en plusieurs segments, avec des exécutions réussies et des échecs. Sept ACWM représentatifs ont été testés, et les résultats font apparaître des forces et des modes de défaillance distincts selon les modèles. Données, code d'évaluation et classement public sont publiés. L'intérêt tient à ce que les modèles du monde sont de plus en plus utilisés comme simulateurs appris pour évaluer des politiques de manipulation ou générer des données, alors que leur évaluation reste souvent visuelle. Un rendu plausible à l'œil ne garantit pas que les conséquences physiques soient correctes, par exemple qu'un objet glisse, tombe ou change d'état comme dans la réalité. En intégrant des échecs d'exécution et pas seulement des réussites, WorldOracle teste un point critique : un modèle qui ne sait prédire que des trajectoires réussies ne peut servir ni à classer des politiques ni à détecter leurs défauts. Pour les intégrateurs et les décideurs, c'est un outil pour juger si un modèle du monde peut réduire le coût des essais sur robot réel. L'article ne chiffre toutefois pas ici les scores, ni ne nomme les sept modèles dans son résumé, ce qui limite la lecture sans consulter le papier complet. Le contexte est celui d'une multiplication de modèles du monde pour la robotique, portés par des laboratoires académiques et industriels, avec des benchmarks surtout centrés sur la qualité vidéo ou des métriques perceptuelles. WorldOracle s'inscrit dans le courant qui exige un ancrage dans l'exécution réelle, et son classement ouvert doit permettre de comparer les prochains modèles de façon reproductible. Il s'agit d'un travail de recherche, sans déploiement industriel ni produit associé. La suite dépendra de son adoption par la communauté et de la corrélation qui sera démontrée entre les scores du benchmark et la performance réelle des politiques évaluées en simulation apprise.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Atomic-WAM : un raisonnement sur des mouvements atomiques ancré dans l'exécution pour les modèles d'action du monde

Atomic-WAM est un cadre de commande robotique décrit dans un preprint arXiv (2610.20157v1) qui cible les World Action Models (WAMs). Ces modèles adaptent des modèles de fondation vidéo au contrôle de robots en prédisant conjointement la vidéo future et les actions. Le système suit une logique « comprendre puis exécuter ». Un raisonneur vision-langage lit l'instruction de la tâche et le contexte visuel, puis décrit le prochain mouvement local, dit « atomique ». Cette description guide le WAM, qui génère la vidéo future et un « action chunk », c'est-à-dire une séquence d'actions prédite d'un bloc. Les auteurs ont aussi construit un pipeline d'annotation automatique. Il produit, à partir des démonstrations multi-vues du jeu de données DROID, une supervision alignée dans le temps et enrichie d'informations de contact. Le raisonneur est post-entraîné avec EG-GRPO (Execution-Grounded GRPO). Le WAM reste figé, et le raisonneur est récompensé selon la pertinence du mouvement décrit et la réussite de l'exécution. Dans une évaluation « real-to-sim » sur RoboLab, Atomic-WAM atteint 39,6 % de succès avec les instructions par défaut et 31,6 % avec des instructions vagues. Le travail s'attaque à une faiblesse connue des modèles à instructions de haut niveau. Une consigne de tâche laisse souvent indéterminée la prochaine interaction physique, qui dépend de l'état courant de la scène. Faire produire au raisonneur une description de mouvement intermédiaire, puis l'ajuster sur le résultat réel de l'exécution plutôt que sur la seule plausibilité linguistique, est une piste crédible pour relier raisonnement sémantique et contrôle. La baisse limitée de 39,6 % à 31,6 % face à des consignes vagues suggère une certaine robustesse à l'ambiguïté. Il faut toutefois rester prudent. Un taux de succès inférieur à 40 % reste loin des seuils exigés en production. L'évaluation se fait en simulation à partir de données réelles, pas sur robot physique. Le résumé ne donne ni modèle de référence, ni écart face aux méthodes concurrentes, ni temps de cycle, ni matériel. Il s'agit donc d'un résultat de recherche, sans produit ni déploiement. Cette approche s'inscrit dans la montée des WAMs et des modèles vision-langage-action (VLA), qui se disputent la généralisation sur manipulation. DROID, corpus de démonstrations multi-vues largement utilisé, sert ici de base à l'annotation. Atomic-WAM se place dans la lignée des méthodes de raisonnement hiérarchique, qui séparent planification sémantique et contrôle bas niveau, et applique l'apprentissage par renforcement de type GRPO à la couche de raisonnement. Une page de projet est annoncée, mais le résumé ne mentionne ni code, ni pilotes industriels, ni calendrier. La suite logique serait une validation sur robots réels et des comparaisons directes avec les VLA de référence.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

PiL-World : un modèle du monde par segments pour l'évaluation VLA en boucle fermée

Des chercheurs ont publié PiL-World (arXiv:2606.05773), un modèle de monde (world model) en boucle fermée conçu pour évaluer les politiques VLA (Vision-Language-Action) sans exécution physique continue. Le système fonctionne par blocs d'actions (action chunks) : à chaque itération, la politique VLA génère une séquence d'actions, PiL-World simule les observations multi-vues résultantes, et ces observations alimentent le cycle d'inférence suivant. Évalué sur trois tâches de manipulation bimanuelle réelles, PiL-World réduit l'écart entre le taux de succès mesuré sur robot physique et celui estimé en simulation boucle fermée de 63,2 % à 12,0 % par rapport à la baseline, soit plus de cinq fois moins d'erreur d'évaluation. Le modèle conditionne la génération vidéo sur le mouvement du robot en vue de tête et sur un historique latent encodant le contexte d'exécution de la tâche, et apprend à la fois sur des démonstrations téléopérées réussies et sur des trajectoires d'échec. L'évaluation des politiques VLA en boucle fermée est un goulot d'étranglement critique dans le développement robotique : chaque cycle de test sur hardware coûte du temps, de l'usure mécanique et une supervision humaine. Un écart de 63,2 % entre simulation et réalité rend une baseline en boucle ouverte essentiellement inexploitable pour prédire les performances terrain. Ramené à 12,0 %, ce delta commence à être utilisable pour screener des politiques avant validation physique. Le fait que PiL-World apprenne aussi sur des rollouts d'échec est notable : cela corrige un biais classique des world models entraînés uniquement sur démonstrations positives, et rapproche la distribution simulée de celle des exécutions politiques réelles, qui incluent naturellement des tentatives ratées. La demande pour des boucles d'évaluation sans robot s'intensifie depuis que les VLA, notamment Pi-0 de Physical Intelligence, OpenVLA, ou GR00T N2 de NVIDIA, sont devenues les architectures de référence pour la manipulation généraliste. Les simulateurs physiques classiques comme Isaac Lab ou MuJoCo souffrent du sim-to-real gap pour les tâches de contact fin, d'où l'intérêt croissant pour les world models appris directement sur données réelles. PiL-World rejoint une tendance émergente aux côtés de travaux comme UniSim ou IRASim, qui visent à remplacer partiellement l'exécution physique par des modèles génératifs vidéo conditionnés sur les actions. Les résultats sur trois tâches bimanuelles restent limités en diversité de scènes et de morphologies robotiques, et aucun déploiement industriel ni partenariat n'est annoncé à ce stade, ce qui positionne PiL-World comme une contribution de recherche prometteuse plutôt qu'un outil prêt pour l'intégration.

RechercheOpinion

1 source

4arXiv cs.RO

Les dynamiques prédites peuvent-elles exister dans le monde physique ?

Un preprint déposé le 1er juin 2026 sur arXiv (identifiant 2606.00089) introduit le concept d'admissibilité physique pour les politiques de robotique apprise, qu'il s'agisse de modèles VLA (Vision-Language-Action), de diffusion policies ou d'Action Chunking Transformers. Ces systèmes génèrent des trajectoires d'état, des séquences d'actions et des plans en espace latent, mais le problème central est le suivant : un faible RMSE (Root Mean Square Error) de prédiction ne garantit pas qu'une proposition soit physiquement exécutable sur un robot réel. Les auteurs formulent une interface prédiction-contrôle qui évalue chaque proposition candidate via des conditions cinématiques, dynamiques et des horizons composés, avant toute exécution. Sur le benchmark Hugging Face LeRobot PushT, les résidus RMSE et dynamiques standardisés atteignent des AUC (aire sous la courbe ROC) de 0,982 et 0,972, la porte complète atteint 0,957, et le système bloque 87 à 89 % des propositions invalides tout en préservant un progrès de tâche moyen de 0,998. Point notable : les conditions cinématiques seules n'atteignent que 0,592 d'AUC. Pour les intégrateurs et les équipes qui déploient des politiques apprises sur du matériel réel, l'apport est concret : une couche de validation interposable entre la sortie d'un modèle et le contrôleur bas niveau, avec attribution de cause au rejet (dépassement de couple, violation de limites articulaires, incohérence cinématique). Ce n'est pas un certificat de succès de la tâche, mais un filtre qui réduit le fossé sim-to-real sans nécessiter de retraining. Le faible AUC des conditions cinématiques seules contredit une hypothèse parfois avancée dans le secteur : vérifier la cohérence géométrique ne suffit pas, les contraintes dynamiques sont indispensables pour filtrer les trajectoires non exécutables. Ce travail s'inscrit dans un contexte où des modèles comme pi0 (Physical Intelligence), GR00T N2 (NVIDIA) et les politiques de Figure affichent une généralisation croissante mais aussi des échecs caractéristiques au contact du déploiement réel. La question de la vérifiabilité formelle des sorties de politiques apprises est un axe de recherche actif dans plusieurs laboratoires, dont MIT, CMU et ETH Zurich. Ce preprint n'est pas encore évalué par les pairs et les expériences restent confinées à un benchmark de manipulation 2D relativement simple (PushT) ; la validation sur des manipulateurs industriels 6 DOF en boucle temps réel reste entièrement à démontrer.

RechercheOpinion

1 source