RecherchearXiv cs.RO 28 octobre 2026

GAWM : un modèle latent compact du monde et de l'action pour la manipulation robotique multitâche

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent GAWM (Geometry-Aware World Model), un modèle monde-action (WAM) compact pour la manipulation robotique multitâche, décrit dans un article arXiv de type letter. Le système prédit les observations futures dans l'espace latent d'un encodeur DINOv3 gelé. Les caractéristiques de chaque caméra sont compressées en un petit nombre de tokens. Un prédicteur léger, conditionné par la tâche et non par les actions, anticipe ces tokens à deux horizons futurs. Sa supervision repose sur les caractéristiques denses par patch des images futures, ce qui l'oblige à encoder la disposition spatiale de la scène. Un décodeur d'actions régresse ensuite directement un « chunk » d'actions à partir des tokens courants et prédits. Avec moins de 100 millions de paramètres et sans préentraînement robotique ni vidéo, GAWM dépasse des WAM à plusieurs milliards de paramètres sur RoboTwin 2.0. Il fait jeu égal avec des VLA (modèles vision-langage-action) de taille comparable sur LIBERO. Sur un robot bimanuel, il obtient une erreur de prédiction d'actions plus faible sur des démonstrations tenues à l'écart qu'un VLA milliardaire affiné, avec une latence d'inférence nettement réduite. Le code est publié sur GitHub.

L'enjeu est celui du coût de la politique robotique. La plupart des WAM s'appuient sur des backbones vision-langage ou de génération vidéo à plusieurs milliards de paramètres, ce qui pèse sur l'entraînement et surtout sur la latence d'inférence, un point critique pour le contrôle en boucle fermée sur du matériel embarqué. GAWM suggère qu'une prédiction du futur utile à la politique n'exige pas de générer des pixels ni d'hériter d'un gros préentraînement : un espace de caractéristiques gelé et riche en géométrie peut suffire. Les ablations indiquent que le modèle monde latent apporte l'essentiel de son gain quand les données ou le temps d'entraînement sont limités, un scénario courant chez les intégrateurs qui n'ont que quelques dizaines de démonstrations par tâche. Une réserve s'impose : les benchmarks RoboTwin 2.0 et LIBERO sont en grande partie simulés, et la validation réelle se limite à une erreur d'action hors ligne sur un robot bimanuel, pas à un taux de réussite de tâches en conditions réelles. L'écart entre erreur de prédiction et succès effectif reste donc à démontrer.

Ce travail s'inscrit dans la montée des WAM, qui injectent la prédiction d'observations futures dans l'apprentissage de politiques, en réaction à des VLA purement réactifs. Le courant dominant, porté par des modèles fondés sur des backbones vidéo ou VLM massifs, a fait de l'échelle la voie par défaut. GAWM propose le contrepoint inverse, en cohérence avec l'intérêt croissant pour les politiques légères exécutables sur GPU embarqué. Les prochaines étapes à surveiller sont des évaluations en conditions réelles avec taux de succès, des comparaisons directes de latence en millisecondes face aux VLA de référence, et la capacité de l'approche à tenir sur des tâches longues ou à manipulation fine, que les benchmarks actuels couvrent mal.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA World models Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

DepthWorld : un modèle du monde 3D pour la manipulation robotique

Des chercheurs publient sur arXiv (2610.08780) DepthWorld, un modèle du monde 3D destiné à la manipulation robotique, accompagné d'un jeu de données calibré, DROID-3D. Le point de départ est un constat : les modèles du monde vidéo actuels, entraînés uniquement sur du RGB, produisent des séquences plausibles image par image, mais qui ne forment pas un monde 3D cohérent. Pour y remédier, l'équipe a conçu un pipeline de calibration qui combine une estimation de profondeur stéréo apprise et un graphe de facteurs joint. Il regroupe tous les épisodes enregistrés avec un même robot physique afin de retrouver ses paramètres cinématiques partagés, en plus des extrinsèques propres à chaque scène. Appliqué à DROID, il produit DROID-3D : une profondeur métrique dense et des extrinsèques multi-vues recalibrées, avec une erreur de reprojection inférieure à 0,7 pixel sur 90 % des épisodes pour les caméras externes. Le modèle DepthWorld, bâti sur Stable Video Diffusion, prédit conjointement le RGB et la profondeur sur plusieurs vues grâce à un « tuilage latent spatial » (spatial latent tiling), qui laisse intact l'autoencodeur variationnel (VAE) pré-entraîné. À budget d'entraînement égal, la supervision par la profondeur améliore la prédiction RGB de 1,48 dB de PSNR par rapport à une base identique entraînée sur RGB seul, tout en fournissant une profondeur métrique exploitable. Ces résultats comptent pour les équipes qui voient dans les modèles du monde une alternative pilotée par les données aux simulateurs classiques, pour l'évaluation, l'amélioration et la planification de politiques. Toutes ces utilisations supposent une géométrie fidèle. Un rollout visuellement convaincant mais géométriquement incohérent peut fausser l'évaluation d'une politique de préhension ou une planification de trajectoire. L'apport de la profondeur à la qualité du RGB lui-même suggère que la supervision 3D ne se limite pas à ajouter une sortie : elle renforce la prédiction visuelle. Le choix de ne pas toucher au VAE préserve les connaissances a priori des modèles vidéo pré-entraînés, ce qui évite de ré-entraîner à grande échelle. Pour les intégrateurs, l'enjeu à terme est de disposer d'un banc d'essai virtuel plus fiable avant de passer sur matériel réel. Il faut toutefois rester prudent : il s'agit d'un préprint, sans évaluation en boucle fermée sur des robots réels dans les éléments communiqués, et un gain de 1,48 dB de PSNR ne prouve pas à lui seul une meilleure réussite des tâches. Le contexte est celui d'une course pour remplacer ou compléter la simulation physique par des modèles génératifs, nourrie par de grands jeux de données de téléopération comme DROID. Ces corpus sont riches en vidéo, mais leur calibration de caméras est souvent approximative et la profondeur métrique y est absente, ce qui a limité jusqu'ici la supervision 3D à grande échelle en manipulation. DROID-3D comble en partie ce manque. L'approche s'inscrit dans le courant des modèles du monde vidéo adaptés à la robotique, qui s'appuient sur des modèles de diffusion vidéo généralistes. La suite logique serait de tester si ces rollouts géométriquement cohérents améliorent réellement l'évaluation et l'amélioration de politiques VLA, puis de les valider sur des plateformes variées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Modèles du monde pour la manipulation robotique

Des chercheurs ont publié en juin 2026 sur arXiv (2606.24742) un modèle généraliste de valeur pour la manipulation robotique, le WVM (World Value Model). La proposition centrale consiste à substituer les backbones VLM (Vision-Language Model) habituellement utilisés par un modèle de monde, nativement mieux adapté à la modélisation temporelle nécessaire pour évaluer la progression d'une tâche. Sur les benchmarks standards, WVM atteint les meilleures performances connues en Value-Order Correlation (VOC), la métrique de référence pour les modèles de valeur robotiques. L'équipe introduit également Suboptimal-Value-Bench, un benchmark multi-embodiment composé de 800 trajectoires sous-optimales annotées frame par frame par des humains, comblant un angle mort des évaluations existantes qui ne contenaient que des données expertes. L'enjeu est directement opérationnel pour quiconque entraîne des systèmes de manipulation à grande échelle : les données collectées en conditions réelles sont rarement uniformément expertes. Un modèle de valeur précis permet de pondérer ou filtrer ces trajectoires hétérogènes, améliorant la qualité de l'entraînement sans nettoyage manuel coûteux. WVM démontre des gains de performance sur plusieurs approches d'extraction de politique, en simulation comme en déploiement réel, ce qui renforce la thèse que l'estimation de valeur est un composant orthogonal et complémentaire au choix d'architecture de politique. La robustesse maintenue sur données sous-optimales est l'aspect le plus significatif : c'est précisément dans ce régime que les VLMs classiques décrochent, leurs préentraînements sur observations visuelles statiques ne suffisant pas à capturer les dynamiques temporelles longues. La montée en puissance des VLA comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA a rendu critique la question de la qualité des données d'entraînement à grande échelle. L'approche WVM s'inscrit dans une tendance émergente qui consiste à spécialiser les composants : un backbone temporel dédié pour l'évaluation de la valeur, distinct du modèle d'action. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans cet article purement académique. Les prochaines étapes naturelles incluent l'intégration du WVM dans des pipelines d'imitation à grande échelle ou en combinaison avec du reinforcement learning offline (IQL, CQL), et une extension à des environnements multi-tâches plus complexes.

RechercheOpinion

1 source

3arXiv cs.RO

SmolWAM : un modèle monde-action latent pour la manipulation robotique sur appareils embarqués

SmolWAM est un modèle monde-action (WAM) latent qui prédit en une seule passe les actions d'un robot et les observations visuelles qu'elles produiront. Il dérive de Cosmos Policy, un modèle de 2 milliards de paramètres. Ses auteurs conservent le tronc pré-entraîné et reconstruisent l'interface d'inférence. Le modèle utilise des latents visuels d'une seule image, des caractéristiques textuelles mises en cache qui préservent les « attention sinks » du tronc, 12 des 28 blocs transformer et 1 008 tokens. Les actions et les latents visuels futurs sont lus en une seule étape de rectified flow. L'entraînement a demandé 3,6 heures-GPU. Sur 400 épisodes du benchmark LIBERO, le taux de réussite atteint 95,5 %, avec 57 ms et 2,3 TFLOP par chunk de 16 actions et 2,4 GiB de mémoire GPU. Face au modèle enseignant, cela représente un gain de vitesse de 11x, 18,5x moins de FLOPs et 3,2x moins de mémoire. L'intérêt tient au verrou que ce travail cible. Les meilleurs WAM reposent sur des transformers de diffusion vidéo trop lourds pour du matériel embarqué, ce qui les cantonne aux serveurs. Ramener un tel modèle à moins de 2,5 GiB et à moins de 60 ms par chunk suggère que la prédiction du futur peut cohabiter avec le contrôle temps réel sur du calcul contraint. Les auteurs affirment aussi que la tête « monde » continue de prévoir le mouvement de la scène, donc que la compression ne réduit pas le modèle à une simple politique. Les réserves sont nettes. LIBERO est un benchmark simulé, l'article ne détaille pas le matériel edge réellement visé dans le résumé, et aucune validation sur robot physique n'est mentionnée. Le résultat relève de la recherche, pas d'un produit déployé. Ce travail s'inscrit dans la course à l'efficacité des modèles vision-langage-action, où des politiques comme Pi-0 ou GR00T N2 visent aussi un déploiement embarqué. Les WAM, eux, ajoutent une capacité de prédiction visuelle au prix d'un coût de calcul élevé. La distillation et l'élagage structurel (retirer 16 blocs sur 28) offrent ici une voie peu coûteuse, avec 3,6 heures-GPU seulement. Les suites logiques sont des tests sur manipulateurs réels, des mesures sur des puces embarquées de type Jetson, et une évaluation sur des tâches plus longues et plus variées que LIBERO.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Repenser le modèle monde-action pour la manipulation robotique compositionnelle et en contexte

Des chercheurs proposent ViGAR (Visual Goal-conditioned Action Reasoning), un cadre hiérarchique pour la manipulation robotique compositionnelle à long horizon, détaillé dans un preprint arXiv (2610.02368). Il sépare la tâche en deux modules. Un planificateur de sous-buts visuels prédit, à partir de l'observation courante et de l'instruction globale, une image du sous-but de la prochaine sous-tâche. Un exécuteur de sous-buts génère ensuite conjointement les trajectoires visuelles futures et les actions, conditionnées par ce sous-but. Les deux composants partagent la même représentation de world model pré-entraîné. Sur le benchmark simulé RoboTwin Clean2Random, ViGAR atteint 82,00 % de réussite en configuration Clean et 67,02 % en configuration Random. Cela représente 12,86 points de pourcentage de mieux que la meilleure référence, en moyenne. Les auteurs ajoutent des essais sur robot réel : cinq tâches compositionnelles et deux tâches d'apprentissage en contexte. Le résumé ne précise ni la plateforme matérielle, ni le nombre d'essais, ni les modèles de référence. Ce travail s'attaque à une limite connue des world-action models (WAM), qui prédisent à la fois de courts futurs visuels et des actions, mais sans raisonnement explicite au niveau des sous-tâches. Pour un intégrateur, la plupart des tâches utiles, comme l'assemblage, le tri ou le conditionnement, enchaînent plusieurs gestes coordonnés, et c'est sur cet enchaînement que les politiques de bout en bout échouent le plus souvent. Introduire un sous-but visuel explicite rend le plan lisible et inspectable, ce qui compte pour le diagnostic en production. L'apprentissage en contexte va dans le même sens. Une image du but global fournie comme contexte suffit à induire des décompositions et des comportements différents, sans mise à jour des paramètres. Cela réduirait le coût de reconfiguration d'une cellule robotisée. Les résultats restent à relativiser : le score Random de 67 % montre qu'une perte de performance subsiste face à la variabilité de l'environnement, et les tests réels sont peu nombreux. Ce travail s'inscrit dans la montée des politiques vision-langage-action (VLA) et des world models comme base de la manipulation généraliste. Il se place face à des approches qui produisent des actions seules, comme Pi-0, ou des modèles qui prédisent des futurs vidéo sans hiérarchie. Le benchmark RoboTwin, de manipulation bimanuelle avec randomisation de l'environnement, sert de plus en plus de test de robustesse. C'est un résultat académique, sans produit ni déploiement annoncé. Les prochaines étapes à surveiller sont la validation sur des horizons plus longs et des plateformes variées, la publication du code et des poids, et le coût de calcul d'une prédiction visuelle à chaque sous-tâche, que le résumé ne chiffre pas.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source