RecherchearXiv cs.RO 21 octobre 2026

Dédiffusion des WAM : prédiction directe suffisante pour l'action en contrôle de robots

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

DirectWAM, présenté dans un preprint arXiv (2610.28122v1), vise à supprimer le coût d'inférence itératif des « world-action models » en cascade (WAM). Ces modèles prédisent d'abord un futur visuel, puis s'en servent pour conditionner les actions du robot. Leurs experts vidéo et action, préentraînés par diffusion, imposent plusieurs étapes de débruitage. Les auteurs convertissent ces experts en prédicteurs à une seule étape, sans échantillonnage stochastique, par une distillation dite « suffisante pour l'action ». Une fois le modèle d'action à un pas appris, le prédicteur de futur est entraîné en décodant des actions à partir de ses propres futurs prédits. L'erreur d'action par rapport aux démonstrations est rétropropagée à travers l'expert, avec en option une perte de reconstruction des latents du futur. Résultats annoncés : 97,1 % de succès moyen sur les quatre suites LIBERO et 85,4 % sur RoboTwin 2.0, devant Flash-WAM à budget égal (une évaluation par flux). L'avantage se retrouve sur trois tâches réelles conçues par les auteurs, avec une latence d'inférence réduite d'un facteur 28 par rapport au professeur itératif complet.

L'intérêt tient à la latence, goulot d'étranglement connu des politiques VLA et WAM sur robot réel. Un facteur 28 rapproche ce type d'architecture des fréquences de contrôle exigées en manipulation. L'étude apporte aussi un résultat de fond : dans le WAM évalué, rééchantillonner le bruit vidéo change peu les actions, mais tronquer naïvement les deux flux à une étape dégrade nettement le succès. Une analyse de sensibilité locale montre que les erreurs de prédiction visuelle ont des conséquences très inégales sur la précision de l'action. Une supervision dans l'espace vidéo ne comble donc qu'en partie l'écart, et ce qu'il faut préserver dans le futur prédit, c'est l'information utile au contrôle, pas la fidélité visuelle. Il faut cependant rester prudent : LIBERO et RoboTwin sont des benchmarks en simulation, les trois tâches réelles sont choisies par les auteurs, et aucune donnée n'est fournie ici sur le matériel, le taux de succès réel ou la variance. Il s'agit de recherche, pas d'un produit déployé.

DirectWAM s'inscrit dans le mouvement de compression des modèles génératifs pour la robotique. Les politiques à diffusion ont gagné en robustesse au prix d'un calcul lourd, et la distillation en un pas, déjà éprouvée en génération d'images, est désormais transposée au contrôle. Le point de comparaison direct est Flash-WAM, autre approche à budget réduit, mais le préprint ne dit pas comment la méthode se situe face aux VLA directs de type Pi-0 ou GR00T, qui n'utilisent pas de futur visuel explicite. Les suites probables sont des validations sur plateformes plus variées, des tâches plus longues et un examen de la généralisation hors distribution. Pour les intégrateurs, le signal à surveiller est la reproduction indépendante des gains de latence sur embarqué, avant tout pilote industriel.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

TS-WAM : actions latentes temporelles et couplage monde-action pour le contrôle de robots par vision-langage

TS-WAM est un modèle monde-action léger, présenté dans une prépublication arXiv (2610.21922), qui vise deux faiblesses de nombreuses politiques vision-langage-action (VLA). D'une part, elles dépendent de démonstrations robotiques annotées avec les actions, ce qui les empêche d'exploiter des vidéos sans étiquettes d'action. D'autre part, elles n'ont aucun mécanisme explicite pour prédire les états visuels futurs. Les auteurs décrivent une architecture « enseignant-élève » dont le cadre vlm-jepa apprend de façon auto-supervisée à partir de données hétérogènes : démonstrations de robots et vidéos humaines sans actions. Une branche cible à moyenne mobile exponentielle (EMA) remplace l'enseignant externe entraîné séparément. Le module delta-lwm prédit des actions latentes à partir de l'observation courante et de l'instruction, puis s'en sert pour anticiper les caractéristiques visuelles futures, qui guident la génération d'actions. L'ensemble est entraîné de bout en bout, sans préentraînement distinct d'actions latentes ni de modèle du monde. La branche EMA est retirée à l'inférence. Les tests portent sur les benchmarks LIBERO, LIBERO-Plus et SimplerEnv, ainsi que sur des manipulations réelles avec un bras Franka Research 3 et RevoTron. Pour les intégrateurs et les équipes R&D, l'intérêt est double. Exploiter des vidéos humaines sans étiquettes d'action est l'une des voies les plus crédibles pour contourner le coût de la téléopération, qui plafonne le volume de données d'entraînement. Simplifier le pipeline, avec un seul entraînement et sans étape de préentraînement séparée, réduit la complexité d'ingénierie, et un modèle déployé allégé facilite l'embarquement sur du matériel contraint. Il faut toutefois rester prudent. Le résumé ne donne aucun taux de réussite, aucune comparaison chiffrée avec des références comme Pi-0 ou OpenVLA, ni le nombre d'essais réels. Les benchmarks en simulation, LIBERO en tête, sont désormais proches de la saturation et prouvent peu sur la fiabilité en production. Les affirmations de « forte performance, généralisation et robustesse » restent donc à vérifier dans l'article complet, et aucune validation en environnement industriel n'est mentionnée. Ce travail s'inscrit dans la convergence entre VLA et modèles du monde. Plusieurs équipes testent la prédiction d'états futurs ou l'apprentissage d'actions latentes pour réduire la dépendance aux données annotées, en s'appuyant sur les approches JEPA de type prédiction dans l'espace latent. Les politiques généralistes de type Pi-0, GR00T ou Helix restent la référence en matière d'échelle de données et de déploiement, mais exigent beaucoup de démonstrations. TS-WAM se positionne comme une alternative plus économe, mais il s'agit d'une recherche académique sans produit ni calendrier de pilote annoncés. Le choix de RevoTron, plateforme moins courante que le Franka, laisse penser à un laboratoire lié à cet écosystème matériel. Les prochaines étapes à surveiller sont la publication du code et des poids, les comparaisons indépendantes sur des tâches longues, et la validation sur des volumes de vidéos humaines plus larges.

RecherchePaper

1 source

2arXiv cs.RO

Au-delà de la prédiction du futur : le débruitage comme adaptation générative pour le contrôle des robots

Des chercheurs publient sur arXiv (arXiv:2609.28339v1) une méthode baptisée NowWAM pour entraîner des politiques de contrôle robotique à partir de Diffusion Transformers (DiT) pré-entraînés sur de la génération d'images et de vidéos. Plutôt que de prédire des images futures pour transférer ce prior génératif vers le contrôle, comme le font la plupart des approches existantes, NowWAM débruite l'observation courante et prédit les actions du robot à partir du même flux visuel, sans cible visuelle future séparée. Sur le benchmark de simulation LIBERO-Plus, avec un backbone FLUX2-Klein, la méthode atteint 87,7 % de réussite, soit 6,1 points de plus qu'une base entraînée avec prédiction du futur, tout en divisant par deux le nombre de tokens visuels d'entraînement (784 à 392) et en réduisant le temps par étape de 2,85 à 1,63 seconde, un gain de vitesse de 1,8x. Avec un backbone texte-vers-image pur, Z-Image, sans capacité de génération vidéo ni d'édition d'image, NowWAM atteint 87,8 %. Le résultat central du papier est que restreindre l'entraînement au seul point d'arrivée débruité dégrade nettement la robustesse, alors que remplacer la cible future par la cible présente ne change quasiment rien aux performances. Cela suggère que ce n'est pas la prédiction du futur en tant que telle qui rend utile le prior génératif des DiT pour le contrôle, mais la trajectoire de débruitage elle-même, utilisée comme interface d'apprentissage. Pour le secteur des politiques robotiques de type VLA (vision-language-action), bâties sur des bases génératives comparables à celles derrière Pi-0 ou GR00T N2, ce travail remet en cause l'hypothèse répandue selon laquelle un module de prédiction vidéo du futur serait nécessaire pour exploiter un prior génératif. Il ouvre aussi une piste d'efficacité concrète: moitié moins de tokens visuels et un temps de calcul par étape quasi divisé par deux, un enjeu direct pour le contrôle temps réel embarqué. Ce travail s'inscrit dans la tendance à construire des politiques de contrôle sur des DiT pré-entraînés à grande échelle, une lignée qui inclut des modèles comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, généralement adaptés via prédiction visuelle du futur. NowWAM se positionne comme une alternative de co-entraînement plus économe, comparée sous conditions contrôlées à une base "future prédiction" sur LIBERO-Plus, un environnement de simulation standard pour la manipulation, et non un déploiement sur robot réel. Les auteurs montrent que l'adaptation au contrôle ne dépend pas d'un backbone spécialisé en vidéo ou en édition d'image, élargissant les bases génératives exploitables en robotique. Publié en preprint, l'article ne mentionne aucun déploiement industriel ni partenariat commercial; ses conclusions restent à confirmer au-delà du benchmark simulé.

RechercheActu

1 source

3arXiv cs.RO

Modèles vision-action pour l'apprentissage et le contrôle des robots : une étude

Une équipe de chercheurs publie sur arXiv (identifiant 2609.16074v1) une étude de synthèse consacrée aux World-Action Models (WAM), des architectures qui couplent prédiction de l'état futur du monde et génération d'actions exécutables pour des robots. Le texte ne présente ni robot ni déploiement terrain : c'est une revue de littérature qui situe les WAM par rapport aux modèles du monde classiques, à l'apprentissage par renforcement basé sur un modèle, à la génération vidéo conditionnée par l'action et aux politiques VLA (vision-langage-action) purement réactives. Les auteurs proposent une taxonomie unifiée couvrant représentations, modélisation des transitions d'état, interfaces d'action, architectures, pipelines d'entraînement, modalités de données et stratégies de mise à l'échelle, puis passent en revue les applications en manipulation robotique, navigation et conduite autonome, avant de recenser les jeux de données, benchmarks, métriques et protocoles d'évaluation existants. Une page de projet répertoriant les travaux associés est mise en ligne à l'adresse rcl-robotics.github.io. L'intérêt de ce travail tient moins à un résultat inédit qu'à la mise en ordre d'un champ en pleine effervescence. Depuis l'essor des modèles du monde et de politiques VLA comme Pi-0, GR00T N2 ou Helix, une même intuition traverse le secteur : un robot fiable doit anticiper les conséquences d'une action avant de l'exécuter, plutôt que de se contenter d'associer observation et geste. Pour les intégrateurs et décideurs B2B, cette synthèse offre un vocabulaire commun pour évaluer des annonces concurrentes qui se réclament toutes, à des degrés divers, de cette convergence entre prédiction et action. Elle rappelle aussi, en creux, que la plupart des systèmes déployés aujourd'hui restent soit des générateurs vidéo sans boucle d'action réelle, soit des politiques réactives sans véritable anticipation, ce qui relativise la maturité que certains fournisseurs revendiquent. Ce travail s'inscrit dans la convergence amorcée depuis 2024-2025 entre les modèles du monde issus de la génération vidéo et les politiques d'action de type VLA popularisées par des laboratoires nord-américains et asiatiques ; aucun acteur français ou européen n'est cité dans cette étude, qui reste centrée sur la littérature académique et industrielle existante. Les auteurs identifient plusieurs verrous encore ouverts : l'alignement entre prédiction et action, la factorisation monde-action, la cohérence spatiale et multi-vue, la mémoire à long horizon, la simulation neuronale pour l'apprentissage en boucle fermée, et l'inférence efficace nécessaire à un déploiement temps réel. Ces axes dessinent l'agenda de recherche à venir pour transformer les WAM, aujourd'hui à l'état de cadre conceptuel, en briques réellement déployables sur des robots.

RecherchePaper

1 source

4arXiv cs.RO

Diffusion ReRoll : débruitage révisable pour la prédiction séquentielle en robotique

Des chercheurs publient sur arXiv (arXiv:2607.19919v1) Diffusion ReRoll, un nouveau framework de diffusion pour la prédiction séquentielle en robotique, conçu pour rendre le débruitage "révisable" sur un horizon temporel. Contrairement aux approches existantes qui appliquent un débruitage monotone en une seule passe, la méthode renoise sélectivement les segments devenus localement stables pendant que le reste de la séquence continue à se débruiter, permettant aux portions passées et futures de se réviser mutuellement tout en gardant leur cohérence locale. L'équipe compare Diffusion ReRoll à deux références du domaine, la diffusion pleine séquence et le débruitage causal de Diffusion Forcing, sur trois familles de tâches: planification à long horizon, apprentissage de politiques et modélisation vidéo-action unifiée. Sur les benchmarks OGBench PointMaze et AntMaze, la méthode obtient des gains relatifs de taux de réussite de 21% face à Diffusion Forcing en planification guidée et de 23% face à Diffuser en goal-inpainting. Sur LIBERO-10, un benchmark multi-tâches de prédiction d'actions, le gain relatif atteint 56,5% par rapport à Diffusion Policy, quel que soit l'horizon de prédiction ou la longueur d'historique utilisée. Ce résultat cible un point de friction connu des architectures VLA et des politiques par diffusion: la difficulté à réviser une trajectoire déjà partiellement générée sans tout recalculer depuis le début. Un débruitage figé pénalise la robustesse quand le contexte évolue en cours d'exécution, un problème direct pour les intégrateurs qui déploient des politiques d'action sur bras manipulateurs ou robots mobiles en environnement changeant. Les gains observés en généralisation hors distribution, où Diffusion ReRoll conserve la meilleure cohérence action-vidéo, suggèrent un mécanisme plus robuste que le simple ajustement d'hyperparamètres, sans toutefois valider un déploiement en conditions réelles. Il s'agit à ce stade d'un travail de recherche publié en preprint, sans laboratoire ni affiliation précisée dans le résumé, positionné comme amélioration directe de Diffusion Forcing et Diffusion Policy, deux méthodes de référence en génération de séquences robotiques par diffusion. Les auteurs n'annoncent pas de code ni de date de publication complète pour l'instant, la validation reposant uniquement sur des benchmarks simulés (OGBench, LIBERO-10).

RecherchePaper

1 source