RecherchearXiv cs.RO 22 juillet 2026

WorldScape Policy 2.0 : vers une modélisation d'action du monde pilotable grâce à une mémoire enrichie par le raisonnement

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

WorldScape Policy 2.0 est un nouveau modèle d'action du monde (World Action Model, WAM) publié en preprint sur arXiv, conçu pour la manipulation robotique par apprentissage conjoint des transitions visuelles et des actions du robot. Son architecture combine une mémoire visuelle causale à court terme, qui alimente le module de génération (DiT) avec les observations récentes pour préserver la dynamique locale d'interaction, et une mémoire d'événements à long et court terme, qui organise les sorties d'un modèle vision-langage en trois niveaux : historique global, activité locale et frontières d'événements. Cette mémoire récupérée sert de sous-objectif implicite pour la planification autonome, renforcé par un mécanisme de "semantic forcing" qui transfère la sémantique des instructions au niveau événementiel dans le flux de planification latent. Les auteurs introduisent également ManipEvent-5M, un jeu de données de pré-entraînement embarqué comptant près de 5 millions de segments d'événements, chacun aligné avec des trajectoires d'action, des instructions de tâche au niveau épisode, des légendes de sous-tâches au niveau segment, des images d'objectif et des démonstrations vidéo.

L'enjeu dépasse la seule prouesse technique : les modèles d'action du monde actuels souffrent d'un contexte temporel limité, d'une supervision par le langage trop grossière (au niveau de l'épisode entier) et d'un conditionnement quasi exclusivement textuel, ce qui limite le suivi de la progression des tâches, l'ancrage fin entre langage, vidéo et action, ainsi que le transfert entre différentes morphologies de robots. En proposant un conditionnement multimodal unifié, exploitable aussi bien par instruction de haut niveau que par image d'objectif ou contexte vidéo, WorldScape Policy 2.0 s'attaque directement à l'écart persistant entre démonstrations en laboratoire et exécution robuste sur des tâches longues et complexes, un point de friction central pour quiconque cherche à faire passer les architectures VLA (vision-langage-action) du prototype à un déploiement fiable.

Le papier s'inscrit dans la lignée des travaux récents qui cherchent à dépasser les VLA purement textuels en intégrant une mémoire structurée et une planification hiérarchique, plutôt que de simplement empiler davantage de données ou de paramètres. Les auteurs revendiquent des résultats supérieurs en simulation et sur plateformes réelles pour la planification autonome à long horizon, le suivi d'instructions fines et l'adaptation en contexte. Il s'agit à ce stade d'une contribution académique (article "new" sur arXiv), sans acteur industriel ni calendrier de déploiement associés : la validation par la communauté et la reproduction des résultats sur d'autres bancs de test restent les prochaines étapes attendues.

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

MEMORA : mémoire d'action incarnée à partir de vidéos égocentriques pour le raisonnement et la planification

Des chercheurs présentent MEMORA, un système de mémoire d'action incarnée pour la planification robotique à long horizon, détaillé dans un article publié le 17 juillet 2026 sur arXiv (2607.14252v1). L'architecture repose sur un cycle formation-consolidation-récupération et quatre magasins de mémoire typés : Environment Memory (lieux), Entity Memory (identité et états des objets), Activity Memory (procédures répétées) et Inferred Knowledge (régularités déduites de l'expérience). Les auteurs ont construit MEMORA-Bench, évalué sur 45 heures de vidéos égocentriques issues d'une extension du jeu de données EPIC-KITCHENS-100 couvrant 18 participants, avec des tâches de planification ancrée en mémoire incluant des objectifs inédits. Testée sur quatre modèles de langage à poids ouverts, la version complète de MEMORA obtient les meilleurs résultats agrégés parmi toutes les conditions comparées, avec un gain jusqu'à 20,5 points de précision sur l'évaluation de mémoire et une amélioration relative jusqu'à 16,6% du score de plan ancré au robot en généralisation hors distribution. Une étude qualitative de déploiement sur deux tâches robotiques illustre l'interfaçage entre plans en langage naturel et contrôle réel. L'enjeu dépasse le simple score de benchmark. La plupart des modèles vision-langage-action actuels, de Pi-0 à GR00T N2 en passant par Helix, raisonnent surtout à partir de la scène présente, sans mémoire persistante des lieux, états d'objets ou procédures déjà rencontrées. Or planifier à long horizon dans un entrepôt, une cuisine industrielle ou un atelier suppose de se souvenir où est rangé tel outil ou quelle procédure a déjà fonctionné. En montrant qu'une mémoire éditable et consolidée améliore la généralisation à des objectifs inédits, MEMORA plaide pour une architecture hybride perception-action plus mémoire structurée, plutôt qu'un modèle unique de bout en bout. Pour les équipes de recherche robotique, le signal est que le goulot d'étranglement du raisonnement long horizon tient autant à l'absence de représentation persistante de l'expérience qu'à la politique d'action elle-même. Ce travail s'inscrit dans la recherche émergente sur l'agentivité incarnée à mémoire longue, en marge des humanoïdes commerciaux comme Figure 03 ou Optimus. À ce stade, MEMORA reste un travail académique évalué sur benchmark et testé qualitativement sur seulement deux tâches robotiques, loin d'un déploiement industriel. Les auteurs le positionnent comme complémentaire aux modèles VLA existants, une couche de contexte en amont plutôt qu'un concurrent. La suite logique serait une intégration à des pipelines VLA en conditions réelles et une extension du benchmark au-delà des tâches de cuisine, vers la logistique ou l'assemblage. Détails et code sur la page projet des auteurs.

RecherchePaper

1 source

2arXiv cs.RO

CoRE-VLA : vers une modélisation vision-langage-action évolutive et robuste par routage conditionnel d'experts

Des chercheurs présentent CoRE-VLA, une nouvelle architecture de modèle vision-langage-action (VLA) conçue pour résoudre un problème concret de déploiement robotique: la gestion de capteurs hétérogènes et potentiellement défaillants. Publié sur arXiv le 3 juillet 2026, le papier propose de traiter la génération d'actions comme un calcul épars conditionné par le contexte, plutôt que par un calcul dense partagé comme dans les VLA classiques. Concrètement, la disponibilité des capteurs active des experts spécialisés par modalité (le papier se concentre sur la profondeur, ou depth, comme capteur auxiliaire représentatif), tandis que l'intention de la tâche route les représentations vers des experts pertinents pour chaque sous-objectif. Les auteurs testent CoRE-VLA sur les benchmarks LIBERO et RoboCasa GR1 Tabletop, ainsi que sur des manipulations réelles à deux bras, et rapportent des performances supérieures à un modèle dense équivalent et à un VLA pré-entraîné de référence, y compris en généralisation zero-shot sur des scénarios non vus à l'entraînement. L'enjeu pratique est réel pour les intégrateurs: la plupart des VLA actuels couplent rigidement la génération d'action à un jeu de capteurs fixe, ce qui les rend fragiles dès qu'un capteur auxiliaire tombe en panne ou qu'un embodiment robotique en est simplement dépourvu par conception. CoRE-VLA promet une dégradation gracieuse sans réentraînement complet, un point clé pour des flottes hétérogènes déployées en usine ou en entrepôt où tous les robots n'ont pas la même instrumentation. C'est un signal de plus que la recherche VLA s'oriente vers la robustesse opérationnelle plutôt que la seule performance en benchmark contrôlé, un décalage régulièrement pointé du doigt entre démonstrations académiques et réalité industrielle. Ce travail s'inscrit dans la lignée des architectures VLA généralistes type Pi-0 ou GR00T N2, mais adresse un angle mort spécifique: l'hétérogénéité capteurs plutôt que la seule diversité des tâches. Il s'agit ici d'une contribution de recherche publiée sur arXiv, sans partenaire industriel ni déploiement annoncé; les prochaines étapes attendues seraient une validation sur davantage d'embodiments réels et une comparaison directe avec les VLA propriétaires déployés en production.

RechercheActu

1 source

3arXiv cs.RO

DriftWorld : modélisation rapide du monde par dérive

Des chercheurs présentent DriftWorld dans un article publié sur arXiv (2607.15065v1), un modèle du monde conditionné par l'action destiné à la planification robotique. Contrairement aux modèles de diffusion classiques qui nécessitent un débruitage itératif à chaque inférence, DriftWorld apprend pendant l'entraînement un "drift" conditionné par l'action, ce qui lui permet de générer les images futures à partir de l'observation courante et d'une séquence d'actions candidates en une seule passe avant. Résultat : plus de 30 images par seconde, soit une vitesse 17 fois supérieure en moyenne aux modèles de diffusion de référence. Les auteurs évaluent leur approche sur les benchmarks standards de manipulation robotique par vision, Bridge-V2, RT-1, Language Table, Push-T et Robomimic, où DriftWorld atteint des performances de décision état de l'art tout en consommant nettement moins de temps de calcul à l'inférence. Le modèle sert aussi de simulateur hors ligne pour classer des politiques de robots réels, avec des scores de rollout corrélés jusqu'à 0,99 avec la vérité terrain. Cette avancée cible un goulot d'étranglement bien identifié : les modèles du monde basés sur la diffusion permettent d'imaginer les conséquences d'une action avant de l'exécuter, mais leur lenteur limite la recherche d'actions à grande échelle en temps réel, un frein direct pour le contrôle robotique embarqué. En rendant chaque rollout quasi instantané sans sacrifier la précision, DriftWorld ouvre la voie à une exploration beaucoup plus large de l'espace des actions au moment de la décision, un enjeu central pour les intégrateurs qui cherchent à déployer des politiques robustes sans multiplier les essais physiques coûteux. Sa capacité à évaluer des politiques hors ligne avec une forte corrélation à la réalité terrain en fait aussi un outil potentiel pour tester des comportements robotiques avant tout déploiement réel. Le papier s'inscrit dans la lignée des travaux récents sur les modèles du monde vidéo pour la robotique, où la diffusion domine depuis plusieurs années malgré son coût d'inférence. Il s'agit ici d'une contribution de recherche académique, sans annonce de produit ni de déploiement industriel : les auteurs positionnent les modèles à drift comme une alternative crédible pour l'imagination rapide au service de la planification et de l'évaluation de politiques, sans préciser à ce stade de calendrier d'intégration commerciale.

RecherchePaper

1 source

4arXiv cs.RO

Mem-World : modèles du monde conditionnés par l'action et augmentés par la mémoire pour la manipulation robotique persistante

Des chercheurs ont publié Mem-World sur arXiv (réf. 2606.18960, juin 2026), un modèle du monde multi-vues augmenté par mémoire pour la manipulation robotique. Le problème adressé est fondamental aux modèles du monde conditionnés par l'action (action-conditioned world models) : lors d'une tâche de manipulation, l'effecteur terminal occulte fréquemment la scène, et les mouvements rapides de la caméra embarquée au poignet rendent l'observation courante insuffisante pour prédire les vues futures, poussant les modèles à halluciner ou oublier des détails observés antérieurement. L'innovation centrale est W-VMem, une mémoire indicée par surfels (éléments de surface 3D) en 4D, centrée sur la vue poignet, qui ancre les observations historiques à des éléments de surface évoluant dans le temps. Cette structure permet une récupération de contexte conditionnée sur les actions futures et consciente de la géométrie de scène, via rendu et scoring basés sur les surfels. Sur les tâches de long horizon, le taux de réussite progresse de 58 % à 72 % grâce à la génération de données synthétiques, et la corrélation de Pearson entre évaluations simulées et performances réelles s'améliore de 14,5 % par rapport à Ctrl-World, le modèle de référence. Ce gain en corrélation est directement actionnable pour les équipes robotique : il indique qu'on peut davantage faire confiance aux rollouts simulés pour prédire le comportement réel d'une politique, réduisant la dépendance aux expérimentations physiques coûteuses. L'hallucination de scène était jusqu'ici un verrou majeur à l'utilisation des world models pour l'entraînement de politiques dextres ; en séparant explicitement quand et où chaque élément a été observé, W-VMem produit un contexte historique non-redondant et pertinent. Il convient toutefois de noter que les scénarios de test et les métriques d'évaluation ne sont pas détaillés dans le résumé disponible, ce qui limite l'interprétation directe des chiffres annoncés. Les world models conditionnés par l'action sont apparus d'abord en jeu vidéo et conduite autonome (DreamerV3, GAIA-1) avant d'être adaptés à la manipulation, domaine plus exigeant en raison des occlusions proches et de la dynamique de caméra embarquée. Ctrl-World est la référence directe contre laquelle Mem-World se positionne. Cette publication reste un preprint, non encore évalué par des pairs, sans partenaire industriel ni timeline de déploiement annoncé. Les suites naturelles incluent une évaluation sur des benchmarks standardisés comme RLBench et une intégration dans des pipelines de modèles Visual Language Action (VLA), où la cohérence temporelle des rollouts est un prérequis à l'entraînement à grande échelle.

RechercheOpinion

1 source