RecherchearXiv cs.RO 27 octobre 2026

OSWAM : un modèle d'action du monde efficace avec génération d'action en une seule étape

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent OSWAM, un « world action model » (WAM) capable de générer une séquence d'actions en une seule étape de diffusion, pour la conduite autonome et le contrôle d'agents incarnés. Le travail, publié sur arXiv (2610.35850v1), part du constat que les WAM dits « direct-policy », qui découplent la génération d'actions de la prédiction visuelle explicite du futur, restent lents. Ils exigent encore des dizaines d'étapes de débruitage pour atteindre une qualité d'action compétitive. Réduire naïvement ce nombre d'étapes écrase la trajectoire de débruitage non linéaire en mises à jour grossières, et la qualité des actions chute nettement. Les auteurs annoncent un gain de vitesse d'environ 3 fois par rapport aux références direct-policy. Ils annoncent aussi une inférence compilée en temps réel avec une latence minimale de 40 ms sur un GPU NVIDIA RTX 5090. Selon eux, les résultats sont comparables, voire meilleurs, que ceux des direct-policy WAM et des Joint-WAM, qui nécessitent des dizaines d'étapes.

La méthode repose sur une hypothèse précise : c'est l'absence d'a priori structuré dans le bruit aléatoire d'initialisation qui oblige le modèle à reconstruire une séquence cohérente par débruitage itératif. OSWAM remplace donc ce bruit par des « imagination tokens », qui fournissent des a priori physiques et des représentations conditionnées par l'action. Une distillation d'informations privilégiées, avec conditionnement sur le futur, complète le dispositif. Le modèle apprend ainsi à produire des actions conscientes du futur sans avoir besoin de ce futur à l'inférence. Les premiers chiffres restent ceux de l'abstract. Les benchmarks, les taux de succès et les tailles de modèle ne sont pas détaillés ici. La latence de 40 ms est mesurée sur un GPU haut de gamme grand public et non sur du matériel embarqué. Les gains reviennent donc aux auteurs tant que des tiers ne les ont pas reproduits.

L'enjeu est la latence de boucle de contrôle, l'un des verrous du déploiement des politiques génératives sur robots et véhicules. Passer de dizaines d'étapes à une seule rapproche ces modèles des fréquences de contrôle requises en manipulation dynamique ou en conduite. Cela réduit aussi le coût de calcul par décision. Pour les intégrateurs, le résultat suggère que la qualité d'une politique par diffusion dépend beaucoup de l'initialisation, et pas seulement du nombre d'itérations. Il reste à vérifier la robustesse hors benchmark, le comportement sur robot réel et l'écart entre un GPU de bureau et un calculateur embarqué.

Ce travail s'inscrit dans la lignée des politiques par diffusion, des modèles vision-langage-action (VLA) et des modèles du monde. Ces approches ont gagné en capacité, mais au prix d'une inférence coûteuse. Les concurrents directs sont les direct-policy WAM et les Joint-WAM, qui prédisent conjointement futur visuel et actions. D'autres voies d'accélération existent, comme la distillation de consistance ou le flow matching à peu d'étapes. Une page projet est annoncée, mais aucun déploiement industriel ni calendrier de validation sur robot réel n'est mentionné à ce stade.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

RealtimeWAM : modèles monde-action asynchrones en une seule étape

RealtimeWAM, présenté sur arXiv (2610.06617v2) par une équipe associée au dépôt LightX2V de ModelTC, est une variante de World Action Model (WAM) conçue pour l'inférence ultra-rapide. Un WAM exploite les représentations visuelles d'un backbone de génération vidéo pour guider la prédiction d'actions du robot. Les WAM efficaces récents, comme Fast-WAM et Faster-WAM, reposent sur une architecture Mixture-of-Transformers (MoT) : les représentations vidéo sont calculées une fois puis réutilisées par un expert d'action. Deux goulots subsistent : le débruitage de l'action en plusieurs étapes, et l'exécution séquentielle des experts vidéo et action. RealtimeWAM les traite avec la génération d'action en une seule étape et une inférence asynchrone. Les auteurs annoncent une perte de performance inférieure à 1 % sur LIBERO, LIBERO-Plus et RoboTwin, pour une accélération de bout en bout d'environ 25 fois sur GPU H100. Le code et les checkpoints sont publiés. Pour la première optimisation, la méthode Teacher-Anchored Consistency Distillation (TACD) corrige un écart entre erreur locale et erreur globale : une faible erreur de cohérence locale ne garantit pas une action finale précise. TACD ajoute donc à la distillation par cohérence une supervision explicite, fondée sur le point d'arrivée du déroulé multi-étapes d'un modèle enseignant figé. Pour la seconde, Cross-Expert Wavefront Pipelining (CEWP) fait se chevaucher les deux experts en partageant le cache KV vidéo bloc par bloc. La synchronisation n'a lieu qu'au moment où l'attention d'action consomme ce cache, ce qui supprime l'attente inutile entre experts. L'enjeu est la latence de contrôle. Les WAM apportent une compréhension dynamique du monde que les politiques vision-langage-action (VLA) classiques n'ont pas toujours, mais leur coût d'inférence les rend difficiles à embarquer sur un robot réel. Un facteur 25 sans dégradation notable rapproche ce paradigme de la boucle temps réel. Il faut toutefois lire ces chiffres avec prudence. Les benchmarks en simulation (LIBERO, RoboTwin) ne disent rien de la robustesse sur matériel physique. L'accélération est mesurée sur un GPU de centre de données H100, pas sur le calcul embarqué d'un humanoïde. Aucun déploiement réel n'est mentionné. Le résultat reste donc une validation de recherche, pas un produit. Ces travaux s'inscrivent dans une série de WAM allégés, de Fast-WAM à Faster-WAM, qui visent à rendre praticables les modèles issus de la génération vidéo, face aux VLA directs comme Pi-0 ou GR00T. La publication du code dans l'écosystème LightX2V, orienté accélération d'inférence, favorise la reproduction par d'autres équipes. La suite logique serait des essais sur robots physiques et sur du matériel embarqué, que l'article ne détaille pas.

RecherchePaper

1 source

2arXiv cs.RO

IMLE-VLA : génération d'actions en une seule étape pour les modèles vision-langage-action

Publié sur arXiv (2609.10915), IMLE-VLA remplace la tête d'action itérative des politiques vision-langage-action (VLA) par un générateur en une seule étape, entraîné via l'estimation conditionnelle du maximum de vraisemblance implicite (cIMLE). Appliqué au modèle π0.5, il fait passer la fréquence d'inférence de 15 Hz à 55 Hz, soit un facteur 3,67, et jusqu'à 11 fois le débit d'action. Sur le benchmark LIBERO, qui couvre 40 tâches, IMLE-VLA atteint 98,0% de réussite moyenne, le meilleur score et la plus haute fréquence d'inférence parmi les méthodes comparées. Sous les perturbations du test LIBERO-plus, il conserve la robustesse de π0.5 alors que les autres approches se dégradent nettement. Sur un bras Franka Emika Panda, quatre tâches en conditions réelles montrent un jerk réduit de 2,2 à 3,0 fois et un temps d'inférence par épisode divisé par 3,9 à 6,6 par rapport à π0.5 seul. Le problème visé est bien identifié dans le secteur: les têtes d'action entraînées par diffusion ou flow matching, comme celle de π0.5, exigent un échantillonnage multi-étapes (jusqu'à 10 pas d'Euler), ce qui produit un mouvement saccadé du robot et ralentit l'exécution des tâches. Pour les intégrateurs et équipes robotique qui déploient des bras ou des humanoïdes pilotés par des modèles de fondation, la latence d'inférence conditionne directement la fluidité et la sécurité du contrôle en temps réel. En montrant qu'un générateur à étape unique peut couvrir la multimodalité de l'action sans tomber dans l'effondrement de mode des têtes de régression classiques, IMLE-VLA remet en cause l'idée reçue selon laquelle l'échantillonnage itératif serait indispensable pour préserver la généralisation des politiques VLA à grande échelle. Ce travail s'inscrit dans la lignée des VLA construits sur des backbones vision-langage préentraînés, avec π0.5 comme base de comparaison. Il s'agit d'une contribution académique et non d'un produit commercial: code et vidéos de démonstration sont publiés sur le site du projet à des fins de reproductibilité, sans annonce de déploiement industriel ni de pilote client. Présentée comme générique, la méthode cIMLE pourrait en principe s'appliquer à d'autres têtes d'action par diffusion ou flow matching utilisées ailleurs dans le secteur, ce qui ouvre la voie à des tests sur d'autres politiques VLA et d'autres plateformes robotiques, au-delà du seul bras Franka Emika Panda utilisé pour cette validation.

RechercheActu

1 source

3arXiv cs.RO

Kinematic MeanFlow : une politique de génération d'actions en une seule étape pour les modèles fondation en robotique

Des chercheurs affiliés à Intel Chine proposent Kinematic MeanFlow (K-MF), une politique de génération d'actions en une seule étape pour les modèles de fondation robotiques (RFM), publiée sur arXiv (2610.00864v1). L'objectif est de supprimer la latence d'inférence du flow matching multi-étapes, qui impose plusieurs passes de débruitage dans la tête d'action. Les auteurs constatent d'abord qu'une application directe de MeanFlow, cadre censé permettre la génération en un pas, fait s'effondrer les performances. Ils l'attribuent à deux dynamiques propres au champ de vitesse des RFM : l'« accélération locale » reste stable au début du débruitage puis grimpe brutalement vers la fin, et la dispersion des amplitudes entre échantillons s'élargit à mesure que le débruitage avance. K-MF repose sur une identité cinématique. Il scinde le terme de dérivée temporelle de MeanFlow en deux termes sur des sous-intervalles, séparés par un point intermédiaire. Chaque terme capte la dynamique du début ou de la fin du débruitage, ce qui limite l'amplification des erreurs. Sur GR00T-N1.6, la latence de la tête d'action baisse de 67,5 % à 74,4 % selon les configurations (GPU L40 et Jetson Orin, modes eager et compilé). La latence de bout en bout baisse de 30,3 % à 54,9 %. Le code sera publié sur GitHub (IntelChina-AI/K-MF). L'enjeu est très concret pour les intégrateurs et les équipes embarquées. Les politiques VLA basées sur la diffusion ou le flow matching, comme GR00T ou Pi-0, paient un coût d'inférence multiplié par le nombre d'étapes, ce qui limite la fréquence de contrôle, surtout sur du matériel embarqué de classe Jetson Orin. Le gain de bout en bout reste nettement inférieur au gain sur la tête d'action : le reste du modèle (encodeur visuel, backbone langage) devient alors le goulot d'étranglement. Les auteurs affirment aussi que K-MF fonctionne en entraînement from scratch comme en fine-tuning, et dépasse le flow matching multi-étapes « dans la plupart des cas ». Cette formulation appelle à la prudence. Il s'agit d'une préimpression non relue par des pairs, et le résumé ne donne ni taux de réussite précis, ni liste de tâches, ni validation sur robot physique. Aucun déploiement industriel n'est annoncé. Le travail s'inscrit dans une course à la réduction de la latence des politiques génératives. MeanFlow a émergé comme alternative aux approches par distillation ou par consistance, et la distillation en une étape ou les têtes d'action plus légères restent les principales pistes concurrentes. Le choix de GR00T-N1.6 de NVIDIA comme banc d'essai et des plateformes L40 et Jetson Orin reflète la réalité du déploiement actuel des humanoïdes, où la puissance de calcul embarquée est contrainte. L'implication d'Intel Chine laisse penser que l'optimisation de l'inférence en périphérie est un axe stratégique pour le fabricant. La suite dépendra de la publication du code, qui permettra à la communauté de reproduire les résultats, de les tester sur d'autres architectures VLA et de vérifier si l'accélération se maintient sur des tâches réelles de manipulation fine.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Modèle du monde humanoïde avec génération conjointe des états et des actions

Des chercheurs proposent HWAM (Humanoid World Action Model), une politique pour robots humanoïdes qui génère conjointement les actions de référence et l'état corporel réellement atteint après exécution, c'est-à-dire l'état proprioceptif post-exécution. L'entraînement repose sur trois chemins conditionnels complémentaires. Le chemin « Policy » débruite conjointement des trajectoires état-action à partir des seules observations courantes, ce qui correspond aux conditions de déploiement. Le chemin de modélisation dynamique directe (FDM) prédit les observations visuelles futures à partir des actions et des états post-exécution. Le chemin de modélisation dynamique inverse (IDM) reconstruit la trajectoire conjointe à partir des transitions visuelles. L'évaluation porte sur trois tâches réelles avec l'humanoïde LimX OLI. HWAM obtient le meilleur taux de réussite parmi les références comparées. Sur la tâche « Candy Picking », il atteint 70,6 %, contre 43,3 % pour Fast-WAM. Les résultats des deux autres tâches ne sont pas détaillés dans le résumé disponible. Le travail s'attaque à un problème peu visible dans les démonstrations : l'écart entre action et exécution. Dans les systèmes humanoïdes hiérarchiques, la politique (VLA ou WAM) sort des actions de référence que le contrôle du corps entier met ensuite en œuvre, avec la dynamique du robot, l'équilibre et les contacts. Le mouvement réellement réalisé peut donc différer de la consigne. Sans modéliser cet état réalisé, la prédiction visuelle du futur doit expliquer à la fois l'évolution de la scène et ces écarts, ce qui brouille le lien entre une action et son résultat physique. En faisant de l'état post-exécution une cible explicite, HWAM injecte directement dans l'apprentissage une supervision du mouvement exécuté. Pour les intégrateurs, l'enseignement est que le goulot d'étranglement des manipulateurs humanoïdes se situe aussi dans la couche de contrôle bas niveau, et pas seulement dans la perception ou le langage. Il faut toutefois rester prudent. Le gain de plus de 27 points sur Candy Picking provient d'une seule tâche, d'un seul robot et d'un nombre d'essais non précisé dans le résumé. Il s'agit d'un résultat de laboratoire publié en préprint sur arXiv, sans déploiement industriel ni produit associé. Ce travail s'inscrit dans l'évolution des politiques VLA, qui apprennent les actions directement depuis des observations multimodales, vers les World Action Models, qui ajoutent la prédiction visuelle du futur pour mieux générer les actions. Fast-WAM, la référence directe citée, représente cette seconde famille. La comparaison avec d'autres approches de la catégorie, comme Pi-0 ou GR00T, n'est pas mentionnée dans le résumé. Le choix du LimX OLI, humanoïde de la société LimX, indique aussi que la recherche sur la manipulation humanoïde s'appuie de plus en plus sur des plateformes de fabricants chinois. Les prochaines étapes naturelles seraient une validation sur davantage de tâches et de morphologies, ainsi qu'une comparaison avec les modèles de fondation généralistes. Aucun calendrier de pilote ni de publication de code n'est annoncé dans le texte disponible.

RecherchePaper

1 source