Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

Faster-WAM : les modèles monde-action ont-ils besoin de modules d'action profonds ?

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente Faster-WAM, un nouveau modèle d'architecture pour les World Action Models (WAM), systèmes qui couplent la prédiction d'actions robotiques avec des modèles de monde vidéo. Publié sur arXiv début août 2026, le papier introduit le principe du Dock of Transformer (DoT) : plutôt que de calquer la profondeur du module d'action sur celle du backbone vidéo, comme le font les architectures existantes à backbone partagé ou de type Mixture-of-Transformers, DoT traite le Transformer vidéo pré-entraîné comme un simple hub de représentations et y greffe des têtes de sortie légères via une interface de "docking". Concrètement, Faster-WAM branche une tête d'action d'une seule couche sur un backbone vidéo de 30 couches, l'interface fusionnant les clés et valeurs de toutes les couches vidéo avec un réalignement RoPE. Sans pré-entraînement embodied supplémentaire, le modèle obtient des performances compétitives sur les benchmarks LIBERO et RoboTwin 2.0, une bonne généralisation hors distribution sur LIBERO-Plus, et surtout une latence de bout en bout de 66,5 millisecondes par inférence, soit 3,2 fois plus rapide que Fast-WAM, la référence précédente.

Pour l'industrie robotique, l'enjeu est moins la performance brute que la latence exploitable en temps réel : un modèle de contrôle qui prend 200 ms à répondre est difficilement utilisable sur un bras ou un robot mobile évoluant dans un environnement dynamique. En découplant la taille de la tête d'action de la profondeur du backbone vidéo, cette approche laisse entrevoir des VLA (vision-language-action) capables d'exploiter de gros modèles de monde pré-entraînés sans en hériter le coût d'inférence, un compromis que beaucoup d'architectures actuelles peinent à tenir.

Le travail s'inscrit dans la tendance de fond des World Action Models, qui cherchent à unifier prédiction vidéo et prédiction d'action dans un même réseau plutôt que d'empiler des modules séparés. À ce stade, les résultats restent cantonnés à des benchmarks de simulation (LIBERO, RoboTwin 2.0) et non à un déploiement sur robot réel : il s'agit d'une contribution architecturale, pas d'un produit commercialisé. Les auteurs ne précisent pas de suite ni de calendrier de transfert vers du matériel physique.

Dans nos dossiers

arXiv cs.RO

À lire aussi

ImageWAM : les modèles action-monde ont-ils vraiment besoin de génération vidéo, ou seulement d'édition d'images ?
1arXiv cs.RO 

ImageWAM : les modèles action-monde ont-ils vraiment besoin de génération vidéo, ou seulement d'édition d'images ?

Une équipe de chercheurs publie ImageWAM sur arXiv le 19 juin 2026 (arXiv:2606.19531), un cadre WAM (World Action Model) qui substitue la génération vidéo par l'édition d'images pour prédire les actions robotiques. L'argument central : les WAMs vidéo génèrent des tokens denses sur plusieurs trames futures, consomment de la capacité sur des détails sans rapport avec l'action, et propagent des erreurs lors des prédictions à longue portée. ImageWAM réoriente des modèles d'édition d'image préentraînés pour modéliser uniquement la transformation visuelle entre état courant et état cible. À l'inférence, le système ne décode pas la frame cible : il conditionne un expert d'action par flow-matching sur les caches KV produits pendant le débruitage de l'image éditée. Résultats mesurés : FLOPs réduits à 1/6 et latence à 1/4 par rapport aux WAMs vidéo, avec des performances supérieures aux baselines VLA standard et aux WAMs concurrents, sur simulateur comme en conditions réelles, sans préentraînement additionnel de la politique. Pour la communauté robotique, le résultat questionne une hypothèse fondamentale : la génération vidéo serait indispensable pour que le modèle "comprenne" le monde et déduise des actions pertinentes. ImageWAM montre que l'édition d'image constitue un prior mieux calibré, car elle cible les différences visuelles liées à l'action plutôt que la reconstruction temporelle complète d'une séquence. Les analyses d'attention confirment que les caches se focalisent sur les régions de changement pertinentes pour la tâche, pas sur le fond statique. Pour un intégrateur industriel, l'implication est directe : cycles d'inférence plus rapides et potentiellement matériel embarqué moins coûteux, sans sacrifice de performance selon les expériences rapportées. Les WAMs s'inscrivent dans la continuité des VLAs (Visual Language Action models), qui combinent perception visuelle, langage naturel et contrôle moteur dans un pipeline unifié. Des modèles comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) misent sur des représentations visuelles denses pour généraliser les comportements robotiques entre tâches. ImageWAM se positionne comme une alternative frugale, réutilisant des capacités d'édition d'image préentraînées sans nécessiter de préentraînement vidéo de grande échelle. Le papier reste pour l'instant dans le domaine expérimental : aucun déploiement industriel ni partenaire terrain n'est mentionné. Les prochaines étapes naturelles seraient une validation sur des plateformes humanoïdes ou de manipulation industrielle, précisément les environnements où la latence d'inférence constitue un critère de qualification déterminant.

RechercheOpinion
1 source
WAM-TTT : piloter les modèles monde-action en observant le jeu humain en temps de test
2arXiv cs.RO 

WAM-TTT : piloter les modèles monde-action en observant le jeu humain en temps de test

Une équipe de recherche présente WAM-TTT, une méthode d'entraînement au moment du test ("test-time training") permettant d'orienter des modèles fondation robotiques de type world-action model (WAM) simplement en leur montrant des vidéos humaines, sans démonstration robotique ni fine-tuning spécifique à la tâche. Publié sur arXiv (2607.06988v1), le système ne traite pas les vidéos humaines comme des trajectoires à imiter directement : il les absorbe dans une mémoire adaptative légère, greffée sur un WAM gelé, via un objectif de prédiction vidéo auto-supervisé. Une étape de méta-entraînement, utilisant des paires de données humain-robot et un objectif de reconstruction de mémoire par clé-valeur, aligne en amont les démonstrations humaines avec les comportements robotiques attendus. Résultat : au moment du déploiement, seules des vidéos humaines non annotées suffisent pour adapter le comportement du robot, le modèle fondation pré-entraîné restant intégralement gelé. Les auteurs rapportent que WAM-TTT surpasse systématiquement les approches de référence par conditionnement contextuel sur vidéos humaines, sur un ensemble varié de tâches de manipulation et de scénarios de généralisation. Cette approche s'attaque à un vrai goulot d'étranglement des modèles fondation robotiques (RFM) : aujourd'hui, adapter un modèle vision-langage-action (VLA) à une nouvelle variante de tâche ou à une préférence utilisateur exige généralement de nouvelles démonstrations robotiques coûteuses à collecter, un fine-tuning dédié, ou un long contexte de conditionnement gourmand en calcul. En permettant un pilotage à partir de simples vidéos humaines, sans action robotique ni annotation, WAM-TTT réduit potentiellement le coût d'adaptation et de personnalisation des robots pour les intégrateurs, tout en préservant les capacités de généralisation du modèle de base, un compromis que les méthodes de fine-tuning classiques peinent souvent à tenir. Le papier s'inscrit dans la lignée des travaux récents sur les world-action models et le conditionnement en contexte par vidéo, dont il cherche explicitement à dépasser les limites en tant que méthode de référence comparée. À ce stade, il s'agit d'un résultat de recherche évalué en simulation et sur des bancs de manipulation expérimentaux, sans indication de déploiement industriel ni de partenariat avec un fabricant de robots humanoïdes ou d'AMR ; les auteurs ne précisent pas de calendrier de transfert vers des plateformes commerciales.

RechercheActu
1 source
Flash-WAM : distillation sensible aux modalités pour les modèles monde-action
3arXiv cs.RO 

Flash-WAM : distillation sensible aux modalités pour les modèles monde-action

Des chercheurs ont publié Flash-WAM (arXiv:2606.05254v1), une méthode de distillation conçue pour accélérer les "world-action models" (WAMs), des architectures de diffusion qui génèrent simultanément une prédiction vidéo du futur et les commandes robot associées. Le verrou que Flash-WAM tente de lever : ces modèles nécessitent des dizaines de passes de débruitage par chunk d'actions, aboutissant à une latence de 8,1 secondes par chunk sur GPU NVIDIA L40S, ce qui exclut tout contrôle en temps réel. En compressant l'inférence à une seule étape par modalité via une distillation par consistance adaptée, Flash-WAM ramène cette latence à 348 ms, soit un facteur 23x. Appliqué au modèle LingBot-VA, il atteint 85,5% de succès sur le benchmark RoboTwin 2.0, 95,7% sur LIBERO, et 60% en moyenne sur un humanoïde réel Unitree G1. L'originalité de Flash-WAM réside dans le traitement asymétrique des deux modalités. Le flux action et le flux vidéo dans un WAM opèrent sur des schedules de bruit fondamentalement différents (SNR-shifted noise schedules) : appliquer une seule paramétrisation à l'ensemble dégrade les performances de façon sévère, la distillation naïve par consistance chutant à 24% de succès en conditions réelles. Flash-WAM contourne ce problème avec une paramétrisation linéaire à gradient scalé pour le flux action (régime faible bruit) et une paramétrisation variance-preserving pour le flux vidéo (régime fort bruit). Ce résultat valide l'idée qu'un robot peut boucler en temps réel sur ses prédictions de monde sans matériel exotique, à condition d'adapter la distillation à la nature propre de chaque signal. Les WAMs s'inscrivent dans une tendance récente fusionnant prédiction vidéo et politique robot dans un modèle de diffusion unifié, une approche portée par des travaux comme GR00T N2 de NVIDIA, Pi-0.5 de Physical Intelligence, ou les VLAs (vision-language-action models) au sens large. LingBot-VA est l'un de ces modèles joints récents sur lequel Flash-WAM est instancié. Le sim-to-real gap demeure visible dans les résultats (60% en réel contre 85,5% en simulation sur RoboTwin 2.0), mais le gain de 36 points sur la distillation naïve confirme la pertinence de l'approche pour des déploiements futurs sur manipulateurs industriels ou humanoïdes à usage général.

RechercheOpinion
1 source
DC-WAM : supervision et raisonnement visuels centrés sur la dynamique pour les modèles monde-action
4arXiv cs.RO 

DC-WAM : supervision et raisonnement visuels centrés sur la dynamique pour les modèles monde-action

Une nouvelle publication arXiv (2607.25918v1) présente DC-WAM (Dynamic-Centric World-Action Model), un framework qui repense la manière dont les modèles monde-action (WAM) utilisés pour piloter des robots doivent exploiter la vidéo prédictive. Les WAM couplent une politique de contrôle à une prédiction du futur visuel de la scène, mais jusqu'ici la question de ce que cette modalité vidéo doit réellement apprendre restait ouverte : une prédiction photoréaliste dense coûte cher en calcul et gaspille de la capacité sur la texture, l'éclairage ou l'arrière-plan, des éléments peu liés à la décision d'action. DC-WAM redistribue la supervision et le calcul de la branche vidéo RGB sans ajouter d'entrée ou de prédiction supplémentaire au déploiement. Concrètement, la méthode combine un appariement de flux par différence temporelle avec une pondération guidée par la trajectoire, pour concentrer l'apprentissage sur les changements denses et les zones où la pince, les objets manipulés et les points de contact bougent. Un second mécanisme, DynaRoute, prédit une pertinence dynamique token par token et la convertit en biais d'attention pour orienter le modèle vers les tokens futurs réellement utiles au contrôle. L'intérêt principal tient à la validation expérimentale : en simulation comme sur des tâches réelles de manipulation, DC-WAM améliore systématiquement la performance des politiques, avec un gain particulièrement marqué sous perturbations hors distribution (changements d'éclairage, d'apparence des objets, de texture de fond). Cela conforte une intuition déjà présente dans les WAM efficaces récents : le bénéfice de la branche vidéo ne vient pas tant du rendu futur en lui-même que des représentations visuelles orientées contrôle qu'elle induit pendant l'entraînement. Pour les équipes qui développent des politiques robotiques génériques, c'est un argument concret contre le tout-photoréaliste et en faveur d'une supervision ciblée sur la dynamique d'interaction, un axe pertinent face à l'écart classique entre performance en démonstration et robustesse en conditions réelles. DC-WAM s'inscrit dans la lignée des travaux sur les modèles monde appliqués au contrôle robotique et sur les architectures vision-langage-action (VLA), où plusieurs équipes cherchent à réduire le coût de la prédiction future tout en conservant son bénéfice pour l'apprentissage de politiques. La démarche des auteurs consiste à repartir d'un WAM RGB existant plutôt que d'ajouter une modalité dédiée, une approche incrémentale qui vise l'adoption pratique plutôt que la rupture architecturale. Le papier ne précise pas de partenaire industriel ni de calendrier de déploiement : il s'agit à ce stade d'un résultat de recherche, dont la prochaine étape logique serait une évaluation sur des plateformes robotiques plus variées et des tâches de manipulation plus complexes.

RecherchePaper
1 source