Aller au contenu principal
Sparse-WAM : accélérer les modèles monde-action grâce à une imagination parcimonieuse guidée par l'actionIllustration générée par IA
IA physiquearXiv cs.RO 

Sparse-WAM : accélérer les modèles monde-action grâce à une imagination parcimonieuse guidée par l'action

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs proposent Sparse-WAM, un cadre sans entraînement qui accélère l'inférence des « world-action models » (WAMs), ces modèles de contrôle robotique qui s'appuient sur des modèles vidéo pré-entraînés pour prédire conjointement les images futures et les actions. Le coût vient du débruitage : les jetons de frames futures, très nombreux, sont retraités à chaque étape. Sparse-WAM ne traite qu'une partie d'entre eux, sélectionnés d'après leur pertinence pour l'action. Le module Action-Guided Token Selection conserve, pour chaque frame, les régions utiles à l'action, plus un contexte inter-frames. Un moteur nommé Pilot limite le surcoût du calcul des scores d'attention et du regroupement des jetons, grâce à un scoring léger et à la réutilisation des sélections d'une étape à l'autre. Sur LIBERO avec FastWAM-Joint, l'accélération atteint environ 2,0x par rapport à l'inférence dense « eager ». Sur RoboLab-120 avec Cosmos 3 Edge, elle atteint environ 1,8x. Les mesures ont été faites sur une NVIDIA RTX 4090, et les auteurs indiquent que la performance des tâches est « largement préservée ». Le papier (arXiv 2609.38984v1) ne donne pas, dans son résumé, l'ampleur exacte de la perte résiduelle.

Les WAMs promettent une meilleure généralisation que les politiques VLA classiques, mais leur latence est un obstacle au déploiement : un modèle vidéo de grande taille qui « imagine » le futur à chaque cycle de contrôle est difficile à tenir en temps réel sur du matériel embarqué ou abordable. Le travail vise ce point. Une carte grand public comme la RTX 4090 sert ici de référence, ce qui intéresse les intégrateurs qui n'ont pas de grappe de GPU de datacenter. Le gain est modeste (un facteur 2 au mieux) et ne règle pas à lui seul la fréquence de contrôle : la comparaison porte sur une base dense non optimisée, et non sur des moteurs d'inférence déjà très optimisés. Les benchmarks restent de la simulation ou des suites standardisées, sans validation sur robot réel annoncée. L'observation de fond est utile : l'attention des jetons d'action vers les frames futures se recouvre fortement d'un pas de débruitage à l'autre, alors que les représentations continuent d'évoluer. Cela suggère qu'une bonne part de l'« imagination » visuelle est redondante pour décider de l'action.

Ce travail s'inscrit dans la course à l'efficacité des modèles de diffusion vidéo, où l'élagage de jetons visait jusqu'ici la fidélité visuelle plutôt que la pertinence pour l'action. Il prolonge la lignée des politiques VLA et des modèles de monde, avec des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T, Cosmos) ou Figure (Helix), qui cherchent tous à concilier généralisation et latence. Aucun déploiement industriel n'est annoncé. La suite logique est de tester la méthode sur robot réel, de la combiner avec la quantification ou la distillation, et de vérifier qu'elle tient sur des tâches longues et des scènes moins contrôlées. Cette publication est un préprint, non évalué par des pairs.

À lire aussi

C³ache : accélérer les modèles monde-action par cache de blocs inter-inférences
Illustration générée par IA
1arXiv cs.RO 

C³ache : accélérer les modèles monde-action par cache de blocs inter-inférences

Des chercheurs ont publié sur arXiv en juin 2026 (référence 2606.08962) une méthode d'accélération appelée C³ache (Cross Inference Chunk Cache), ciblant les World Action Models (WAM), une classe de modèles robotiques qui génèrent des politiques d'action en modélisant la vidéo plutôt qu'en s'appuyant uniquement sur des démonstrations étiquetées. Contrairement aux politiques VLA (Vision-Language-Action) classiques, les WAM s'entraînent sur de la vidéo non labellisée abondante, ce qui améliore leur généralisation à de nouveaux mouvements et environnements, mais au prix d'un coût d'inférence élevé. Pour exécuter une tâche, un WAM enchaîne plusieurs blocs d'inférence successifs (chunks), chacun nécessitant un processus de débruitage coûteux.

IA physiqueActu
1 source
WISE : ordonnancement de l'imagination guidé par un modèle du monde pour un post-entraînement efficace des modèles vision-langage-action
Illustration générée par IA
2arXiv cs.RO 

WISE : ordonnancement de l'imagination guidé par un modèle du monde pour un post-entraînement efficace des modèles vision-langage-action

Un article publié le 3 septembre 2026 sur arXiv (2609.03681) présente WISE, une méthode de post-entraînement pour les modèles VLA (Vision-Language-Action) en robotique manipulatrice. Plutôt que d'affiner ces politiques par démonstrations d'experts coûteuses ou par renforcement en conditions réelles, risqué et onéreux, WISE s'appuie sur un modèle du monde pour imaginer et évaluer des comportements candidats, mais seulement aux états jugés critiques pour l'interaction, sur des horizons courts et multi-vues afin de limiter la dérive de prédiction. Testée sur les modèles Pi-0 et Pi-0.5 de Physical Intelligence, la méthode réduit le temps de calcul GPU d'environ 80% par rapport à une imagination exhaustive, tout en améliorant les performances sur un éventail de tâches de manipulation.

IA physiqueOpinion
1 source
Rolling-WAM : des modèles monde-action avec imagination glissante
Illustration générée par IA
3arXiv cs.RO 

Rolling-WAM : des modèles monde-action avec imagination glissante

Publié le 25 septembre 2026 sur arXiv (2609.30247), Rolling-WAM est un "World Action Model" (WAM) pour la manipulation robotique, une architecture couplant génération d'actions et prédiction visuelle du futur. Le problème ciblé : les WAM classiques doivent débruiter entièrement la séquence vidéo-action conjointe à chaque cycle de replanification, ce qui crée une latence pénalisante pour le contrôle en boucle fermée. La méthode répartit ce calcul via une fenêtre glissante de segments vidéo-action à niveaux de bruit échelonnés, débruitant totalement le segment d'action imminent tout en affinant partiellement les segments futurs, qui poursuivent leur traitement au fil des nouvelles images caméra.

IA physiqueActu
1 source
L'action latente comme intention permet une imagination efficace du futur pour les modèles d'action du monde
Illustration générée par IA
4arXiv cs.RO 

L'action latente comme intention permet une imagination efficace du futur pour les modèles d'action du monde

La modélisation prédictive de l'action robotique franchit une étape avec LAWA, une architecture présentée dans un article publié sur arXiv fin août 2026 sous la référence 2608.24882. Les modèles dits "world action models" (WAM) améliorent le contrôle des robots en simulant l'évolution future des observations visuelles, mais cette génération d'images futures coûte cher en latence au moment de l'exécution. Une variante rapide, Fast-WAM, supprime cette étape pour gagner en vitesse, au prix d'une généralisation nettement plus faible, en particulier lorsque les démonstrations robotiques sont rares ou dans des scénarios hors distribution.

IA physiqueActu
1 source