RecherchearXiv cs.RO 19 juin 2026

ImageWAM : les modèles action-monde ont-ils vraiment besoin de génération vidéo, ou seulement d'édition d'images ?

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie ImageWAM sur arXiv le 19 juin 2026 (arXiv:2606.19531), un cadre WAM (World Action Model) qui substitue la génération vidéo par l'édition d'images pour prédire les actions robotiques. L'argument central : les WAMs vidéo génèrent des tokens denses sur plusieurs trames futures, consomment de la capacité sur des détails sans rapport avec l'action, et propagent des erreurs lors des prédictions à longue portée. ImageWAM réoriente des modèles d'édition d'image préentraînés pour modéliser uniquement la transformation visuelle entre état courant et état cible. À l'inférence, le système ne décode pas la frame cible : il conditionne un expert d'action par flow-matching sur les caches KV produits pendant le débruitage de l'image éditée. Résultats mesurés : FLOPs réduits à 1/6 et latence à 1/4 par rapport aux WAMs vidéo, avec des performances supérieures aux baselines VLA standard et aux WAMs concurrents, sur simulateur comme en conditions réelles, sans préentraînement additionnel de la politique.

Pour la communauté robotique, le résultat questionne une hypothèse fondamentale : la génération vidéo serait indispensable pour que le modèle "comprenne" le monde et déduise des actions pertinentes. ImageWAM montre que l'édition d'image constitue un prior mieux calibré, car elle cible les différences visuelles liées à l'action plutôt que la reconstruction temporelle complète d'une séquence. Les analyses d'attention confirment que les caches se focalisent sur les régions de changement pertinentes pour la tâche, pas sur le fond statique. Pour un intégrateur industriel, l'implication est directe : cycles d'inférence plus rapides et potentiellement matériel embarqué moins coûteux, sans sacrifice de performance selon les expériences rapportées.

Les WAMs s'inscrivent dans la continuité des VLAs (Visual Language Action models), qui combinent perception visuelle, langage naturel et contrôle moteur dans un pipeline unifié. Des modèles comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) misent sur des représentations visuelles denses pour généraliser les comportements robotiques entre tâches. ImageWAM se positionne comme une alternative frugale, réutilisant des capacités d'édition d'image préentraînées sans nécessiter de préentraînement vidéo de grande échelle. Le papier reste pour l'instant dans le domaine expérimental : aucun déploiement industriel ni partenaire terrain n'est mentionné. Les prochaines étapes naturelles seraient une validation sur des plateformes humanoïdes ou de manipulation industrielle, précisément les environnements où la latence d'inférence constitue un critère de qualification déterminant.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Faster-WAM : les modèles monde-action ont-ils besoin de modules d'action profonds ?

Une équipe de recherche présente Faster-WAM, un nouveau modèle d'architecture pour les World Action Models (WAM), systèmes qui couplent la prédiction d'actions robotiques avec des modèles de monde vidéo. Publié sur arXiv début août 2026, le papier introduit le principe du Dock of Transformer (DoT) : plutôt que de calquer la profondeur du module d'action sur celle du backbone vidéo, comme le font les architectures existantes à backbone partagé ou de type Mixture-of-Transformers, DoT traite le Transformer vidéo pré-entraîné comme un simple hub de représentations et y greffe des têtes de sortie légères via une interface de "docking". Concrètement, Faster-WAM branche une tête d'action d'une seule couche sur un backbone vidéo de 30 couches, l'interface fusionnant les clés et valeurs de toutes les couches vidéo avec un réalignement RoPE. Sans pré-entraînement embodied supplémentaire, le modèle obtient des performances compétitives sur les benchmarks LIBERO et RoboTwin 2.0, une bonne généralisation hors distribution sur LIBERO-Plus, et surtout une latence de bout en bout de 66,5 millisecondes par inférence, soit 3,2 fois plus rapide que Fast-WAM, la référence précédente. Pour l'industrie robotique, l'enjeu est moins la performance brute que la latence exploitable en temps réel : un modèle de contrôle qui prend 200 ms à répondre est difficilement utilisable sur un bras ou un robot mobile évoluant dans un environnement dynamique. En découplant la taille de la tête d'action de la profondeur du backbone vidéo, cette approche laisse entrevoir des VLA (vision-language-action) capables d'exploiter de gros modèles de monde pré-entraînés sans en hériter le coût d'inférence, un compromis que beaucoup d'architectures actuelles peinent à tenir. Le travail s'inscrit dans la tendance de fond des World Action Models, qui cherchent à unifier prédiction vidéo et prédiction d'action dans un même réseau plutôt que d'empiler des modules séparés. À ce stade, les résultats restent cantonnés à des benchmarks de simulation (LIBERO, RoboTwin 2.0) et non à un déploiement sur robot réel : il s'agit d'une contribution architecturale, pas d'un produit commercialisé. Les auteurs ne précisent pas de suite ni de calendrier de transfert vers du matériel physique.

RechercheActu

1 source

2arXiv cs.RO

Les modèles du monde vidéo ont besoin de latents prévisibles

Une équipe de chercheurs publie sur arXiv (identifiant 2610.34663, première version) une méthode pour concevoir l'espace latent des modèles du monde vidéo, ces réseaux génératifs entraînés sur de grands jeux de données robotiques pour prédire les images futures. Ils partent d'un constat. Ces modèles prédisent généralement dans l'espace latent d'un autoencodeur entraîné à reconstruire les images, un espace qui n'est pas optimisé pour modéliser la dynamique. Les auteurs ajoutent des objectifs temporels à l'apprentissage de la représentation et utilisent un décodeur conditionné sur le passé. À budget d'entraînement égal, ils annoncent jusqu'à 5 fois moins de coût d'inférence, un entraînement plus de 7 fois plus rapide, et 15 à 24 % d'erreurs en moins, en pixels comme en métriques perceptuelles, hors distribution et sur de longs horizons. Leurs modèles s'accordent aussi davantage avec l'évaluation de politiques en conditions réelles, lorsqu'un modèle vision-langage juge la réussite de la tâche à partir des vidéos prédites. L'enjeu est pratique. Évaluer des politiques robotiques dans un simulateur appris évite de multiplier les essais physiques, mais les dérives sur les longues séquences et le coût de calcul limitent cet usage. Si les gains se confirment, on pourrait tester plus de politiques, plus longtemps, pour moins cher, et mieux détecter leurs échecs avant de passer au matériel. Le résultat suggère aussi qu'il n'est pas nécessaire de choisir entre un latent facile à prédire, courant en planification, et une prédiction fidèle en pixels. Des réserves s'imposent toutefois. Les chiffres reposent sur l'abstract, avec la mention « jusqu'à » pour les gains les plus spectaculaires, les références de comparaison ne sont pas précisées, et un juge VLM reste un indicateur indirect de la performance réelle. Il s'agit d'un préprint de recherche, sans produit ni déploiement associé. Ce travail s'inscrit dans la course aux modèles du monde pour la robotique, où coexistent des générateurs vidéo à grande échelle, comme la famille Cosmos de NVIDIA, et des approches prédictives dans l'espace latent, comme V-JEPA de Meta, qui sacrifient souvent la reconstruction des pixels. Il tente de réconcilier ces deux écoles. La suite dépendra de la publication éventuelle du code et des poids, de la reproduction des résultats par des tiers, et surtout d'une validation sur des politiques de manipulation réelles, avec des corrélations mesurées face à des essais physiques plutôt qu'un seul juge automatique.

RecherchePaper

1 source

3arXiv cs.RO

OSWAM : un modèle d'action du monde efficace avec génération d'action en une seule étape

Des chercheurs proposent OSWAM, un « world action model » (WAM) capable de générer une séquence d'actions en une seule étape de diffusion, pour la conduite autonome et le contrôle d'agents incarnés. Le travail, publié sur arXiv (2610.35850v1), part du constat que les WAM dits « direct-policy », qui découplent la génération d'actions de la prédiction visuelle explicite du futur, restent lents. Ils exigent encore des dizaines d'étapes de débruitage pour atteindre une qualité d'action compétitive. Réduire naïvement ce nombre d'étapes écrase la trajectoire de débruitage non linéaire en mises à jour grossières, et la qualité des actions chute nettement. Les auteurs annoncent un gain de vitesse d'environ 3 fois par rapport aux références direct-policy. Ils annoncent aussi une inférence compilée en temps réel avec une latence minimale de 40 ms sur un GPU NVIDIA RTX 5090. Selon eux, les résultats sont comparables, voire meilleurs, que ceux des direct-policy WAM et des Joint-WAM, qui nécessitent des dizaines d'étapes. La méthode repose sur une hypothèse précise : c'est l'absence d'a priori structuré dans le bruit aléatoire d'initialisation qui oblige le modèle à reconstruire une séquence cohérente par débruitage itératif. OSWAM remplace donc ce bruit par des « imagination tokens », qui fournissent des a priori physiques et des représentations conditionnées par l'action. Une distillation d'informations privilégiées, avec conditionnement sur le futur, complète le dispositif. Le modèle apprend ainsi à produire des actions conscientes du futur sans avoir besoin de ce futur à l'inférence. Les premiers chiffres restent ceux de l'abstract. Les benchmarks, les taux de succès et les tailles de modèle ne sont pas détaillés ici. La latence de 40 ms est mesurée sur un GPU haut de gamme grand public et non sur du matériel embarqué. Les gains reviennent donc aux auteurs tant que des tiers ne les ont pas reproduits. L'enjeu est la latence de boucle de contrôle, l'un des verrous du déploiement des politiques génératives sur robots et véhicules. Passer de dizaines d'étapes à une seule rapproche ces modèles des fréquences de contrôle requises en manipulation dynamique ou en conduite. Cela réduit aussi le coût de calcul par décision. Pour les intégrateurs, le résultat suggère que la qualité d'une politique par diffusion dépend beaucoup de l'initialisation, et pas seulement du nombre d'itérations. Il reste à vérifier la robustesse hors benchmark, le comportement sur robot réel et l'écart entre un GPU de bureau et un calculateur embarqué. Ce travail s'inscrit dans la lignée des politiques par diffusion, des modèles vision-langage-action (VLA) et des modèles du monde. Ces approches ont gagné en capacité, mais au prix d'une inférence coûteuse. Les concurrents directs sont les direct-policy WAM et les Joint-WAM, qui prédisent conjointement futur visuel et actions. D'autres voies d'accélération existent, comme la distillation de consistance ou le flow matching à peu d'étapes. Une page projet est annoncée, mais aucun déploiement industriel ni calendrier de validation sur robot réel n'est mentionné à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

IMLE-VLA : génération d'actions en une seule étape pour les modèles vision-langage-action

Publié sur arXiv (2609.10915), IMLE-VLA remplace la tête d'action itérative des politiques vision-langage-action (VLA) par un générateur en une seule étape, entraîné via l'estimation conditionnelle du maximum de vraisemblance implicite (cIMLE). Appliqué au modèle π0.5, il fait passer la fréquence d'inférence de 15 Hz à 55 Hz, soit un facteur 3,67, et jusqu'à 11 fois le débit d'action. Sur le benchmark LIBERO, qui couvre 40 tâches, IMLE-VLA atteint 98,0% de réussite moyenne, le meilleur score et la plus haute fréquence d'inférence parmi les méthodes comparées. Sous les perturbations du test LIBERO-plus, il conserve la robustesse de π0.5 alors que les autres approches se dégradent nettement. Sur un bras Franka Emika Panda, quatre tâches en conditions réelles montrent un jerk réduit de 2,2 à 3,0 fois et un temps d'inférence par épisode divisé par 3,9 à 6,6 par rapport à π0.5 seul. Le problème visé est bien identifié dans le secteur: les têtes d'action entraînées par diffusion ou flow matching, comme celle de π0.5, exigent un échantillonnage multi-étapes (jusqu'à 10 pas d'Euler), ce qui produit un mouvement saccadé du robot et ralentit l'exécution des tâches. Pour les intégrateurs et équipes robotique qui déploient des bras ou des humanoïdes pilotés par des modèles de fondation, la latence d'inférence conditionne directement la fluidité et la sécurité du contrôle en temps réel. En montrant qu'un générateur à étape unique peut couvrir la multimodalité de l'action sans tomber dans l'effondrement de mode des têtes de régression classiques, IMLE-VLA remet en cause l'idée reçue selon laquelle l'échantillonnage itératif serait indispensable pour préserver la généralisation des politiques VLA à grande échelle. Ce travail s'inscrit dans la lignée des VLA construits sur des backbones vision-langage préentraînés, avec π0.5 comme base de comparaison. Il s'agit d'une contribution académique et non d'un produit commercial: code et vidéos de démonstration sont publiés sur le site du projet à des fins de reproductibilité, sans annonce de déploiement industriel ni de pilote client. Présentée comme générique, la méthode cIMLE pourrait en principe s'appliquer à d'autres têtes d'action par diffusion ou flow matching utilisées ailleurs dans le secteur, ce qui ouvre la voie à des tests sur d'autres politiques VLA et d'autres plateformes robotiques, au-delà du seul bras Franka Emika Panda utilisé pour cette validation.

RechercheActu

1 source