Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RealtimeWAM : modèles monde-action asynchrones en une seule étape
RecherchearXiv cs.RO 

RealtimeWAM : modèles monde-action asynchrones en une seule étape

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

RealtimeWAM, présenté sur arXiv (2610.06617v2) par une équipe associée au dépôt LightX2V de ModelTC, est une variante de World Action Model (WAM) conçue pour l'inférence ultra-rapide. Un WAM exploite les représentations visuelles d'un backbone de génération vidéo pour guider la prédiction d'actions du robot. Les WAM efficaces récents, comme Fast-WAM et Faster-WAM, reposent sur une architecture Mixture-of-Transformers (MoT) : les représentations vidéo sont calculées une fois puis réutilisées par un expert d'action. Deux goulots subsistent : le débruitage de l'action en plusieurs étapes, et l'exécution séquentielle des experts vidéo et action. RealtimeWAM les traite avec la génération d'action en une seule étape et une inférence asynchrone. Les auteurs annoncent une perte de performance inférieure à 1 % sur LIBERO, LIBERO-Plus et RoboTwin, pour une accélération de bout en bout d'environ 25 fois sur GPU H100. Le code et les checkpoints sont publiés.

Pour la première optimisation, la méthode Teacher-Anchored Consistency Distillation (TACD) corrige un écart entre erreur locale et erreur globale : une faible erreur de cohérence locale ne garantit pas une action finale précise. TACD ajoute donc à la distillation par cohérence une supervision explicite, fondée sur le point d'arrivée du déroulé multi-étapes d'un modèle enseignant figé. Pour la seconde, Cross-Expert Wavefront Pipelining (CEWP) fait se chevaucher les deux experts en partageant le cache KV vidéo bloc par bloc. La synchronisation n'a lieu qu'au moment où l'attention d'action consomme ce cache, ce qui supprime l'attente inutile entre experts.

L'enjeu est la latence de contrôle. Les WAM apportent une compréhension dynamique du monde que les politiques vision-langage-action (VLA) classiques n'ont pas toujours, mais leur coût d'inférence les rend difficiles à embarquer sur un robot réel. Un facteur 25 sans dégradation notable rapproche ce paradigme de la boucle temps réel. Il faut toutefois lire ces chiffres avec prudence. Les benchmarks en simulation (LIBERO, RoboTwin) ne disent rien de la robustesse sur matériel physique. L'accélération est mesurée sur un GPU de centre de données H100, pas sur le calcul embarqué d'un humanoïde. Aucun déploiement réel n'est mentionné. Le résultat reste donc une validation de recherche, pas un produit.

Ces travaux s'inscrivent dans une série de WAM allégés, de Fast-WAM à Faster-WAM, qui visent à rendre praticables les modèles issus de la génération vidéo, face aux VLA directs comme Pi-0 ou GR00T. La publication du code dans l'écosystème LightX2V, orienté accélération d'inférence, favorise la reproduction par d'autres équipes. La suite logique serait des essais sur robots physiques et sur du matériel embarqué, que l'article ne détaille pas.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

RealtimeWAM : à quelle vitesse peut tourner mon modèle d'action du monde ?
1arXiv cs.RO 

RealtimeWAM : à quelle vitesse peut tourner mon modèle d'action du monde ?

Des chercheurs proposent RealtimeWAM, un cadre d'inférence qui ne nécessite aucun réentraînement et vise à réduire la latence des World Action Models (WAM), ces modèles qui associent modélisation de la dynamique visuelle et génération d'actions pour piloter un robot. Le travail, publié sur arXiv (2610.10079), part d'un constat : la latence d'inférence des WAM limite la réactivité du contrôle en boucle fermée. Les auteurs combinent l'exécution parallèle, en exploitant les dépendances entre couches pour recouvrir le traitement de l'observation et la prédiction, avec une réutilisation sélective du calcul. Celle-ci consiste à mettre en cache les caractéristiques d'observation dans les zones visuellement stables et à réutiliser les résidus des Transformers, tout en réservant un raffinement supplémentaire aux cas où les ajustements d'action prédits sont faibles. Testé sur FastWAM et OpenWAM, avec les benchmarks RoboTwin, LIBERO et LIBERO-Plus, sur un GPU RTX 4090, le système affiche des latences moyennes de 24,09 ms et 63,09 ms, soit des accélérations moyennes de 8,90 fois et 10,67 fois. Les taux de réussite moyens atteignent 82,75 % et 87,41 %, à 0,02 et 0,53 point de pourcentage de l'inférence native. Sur cinq tâches réelles, le gain de réussite par rapport à l'inférence native est de 17,2 points pour FastWAM et de 37,2 points pour OpenWAM. L'intérêt tient à la généralité de l'approche. Les WAM sont attractifs parce qu'ils intègrent une représentation de la dynamique du monde à la politique, mais leur coût de calcul les rend difficiles à déployer sur du matériel accessible. Passer à 24 ms sur un GPU grand public de 2022 rend envisageable une fréquence de contrôle compatible avec une boucle fermée, là où la latence native pénalise la réactivité. Le gain en conditions réelles est le résultat le plus parlant : une partie de l'écart entre simulation et terrain semble venir du retard d'inférence plus que de la qualité du modèle, puisque la politique réagit mieux quand elle décide plus vite. À nuancer toutefois : il s'agit d'un preprint non évalué par les pairs, les cinq tâches réelles sont peu nombreuses, les gains les plus forts viennent d'OpenWAM, le plus lent au départ, et les auteurs ne précisent pas dans ce résumé les plateformes robotiques ni le nombre d'essais. Les métriques de latence sont mesurées sur un seul GPU, sans indication sur les plateformes embarquées. Ce travail s'inscrit dans l'effort d'accélération des WAM. FastWAM a réduit la latence en supprimant la génération explicite de vidéo future au moment du test, mais au prix d'une architecture spécialement conçue. Les stratégies de cache plus générales exploitent la redondance des caractéristiques, sans tenir compte de l'évolution des besoins de calcul en contrôle en boucle fermée. RealtimeWAM se positionne entre les deux, comme couche applicable à diverses architectures, et le fait qu'il améliore FastWAM, déjà optimisé, suggère que les deux approches sont complémentaires. Les prochaines étapes naturelles seraient des tests sur davantage de WAM, sur des GPU embarqués de type Jetson et sur des tâches plus longues et plus variées, ainsi qu'une publication du code permettant de reproduire les résultats.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Kinematic MeanFlow : une politique de génération d'actions en une seule étape pour les modèles fondation en robotique
2arXiv cs.RO 

Kinematic MeanFlow : une politique de génération d'actions en une seule étape pour les modèles fondation en robotique

Des chercheurs affiliés à Intel Chine proposent Kinematic MeanFlow (K-MF), une politique de génération d'actions en une seule étape pour les modèles de fondation robotiques (RFM), publiée sur arXiv (2610.00864v1). L'objectif est de supprimer la latence d'inférence du flow matching multi-étapes, qui impose plusieurs passes de débruitage dans la tête d'action. Les auteurs constatent d'abord qu'une application directe de MeanFlow, cadre censé permettre la génération en un pas, fait s'effondrer les performances. Ils l'attribuent à deux dynamiques propres au champ de vitesse des RFM : l'« accélération locale » reste stable au début du débruitage puis grimpe brutalement vers la fin, et la dispersion des amplitudes entre échantillons s'élargit à mesure que le débruitage avance. K-MF repose sur une identité cinématique. Il scinde le terme de dérivée temporelle de MeanFlow en deux termes sur des sous-intervalles, séparés par un point intermédiaire. Chaque terme capte la dynamique du début ou de la fin du débruitage, ce qui limite l'amplification des erreurs. Sur GR00T-N1.6, la latence de la tête d'action baisse de 67,5 % à 74,4 % selon les configurations (GPU L40 et Jetson Orin, modes eager et compilé). La latence de bout en bout baisse de 30,3 % à 54,9 %. Le code sera publié sur GitHub (IntelChina-AI/K-MF). L'enjeu est très concret pour les intégrateurs et les équipes embarquées. Les politiques VLA basées sur la diffusion ou le flow matching, comme GR00T ou Pi-0, paient un coût d'inférence multiplié par le nombre d'étapes, ce qui limite la fréquence de contrôle, surtout sur du matériel embarqué de classe Jetson Orin. Le gain de bout en bout reste nettement inférieur au gain sur la tête d'action : le reste du modèle (encodeur visuel, backbone langage) devient alors le goulot d'étranglement. Les auteurs affirment aussi que K-MF fonctionne en entraînement from scratch comme en fine-tuning, et dépasse le flow matching multi-étapes « dans la plupart des cas ». Cette formulation appelle à la prudence. Il s'agit d'une préimpression non relue par des pairs, et le résumé ne donne ni taux de réussite précis, ni liste de tâches, ni validation sur robot physique. Aucun déploiement industriel n'est annoncé. Le travail s'inscrit dans une course à la réduction de la latence des politiques génératives. MeanFlow a émergé comme alternative aux approches par distillation ou par consistance, et la distillation en une étape ou les têtes d'action plus légères restent les principales pistes concurrentes. Le choix de GR00T-N1.6 de NVIDIA comme banc d'essai et des plateformes L40 et Jetson Orin reflète la réalité du déploiement actuel des humanoïdes, où la puissance de calcul embarquée est contrainte. L'implication d'Intel Chine laisse penser que l'optimisation de l'inférence en périphérie est un axe stratégique pour le fabricant. La suite dépendra de la publication du code, qui permettra à la communauté de reproduire les résultats, de les tester sur d'autres architectures VLA et de vérifier si l'accélération se maintient sur des tâches réelles de manipulation fine.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
IMLE-VLA : génération d'actions en une seule étape pour les modèles vision-langage-action
3arXiv cs.RO 

IMLE-VLA : génération d'actions en une seule étape pour les modèles vision-langage-action

Publié sur arXiv (2609.10915), IMLE-VLA remplace la tête d'action itérative des politiques vision-langage-action (VLA) par un générateur en une seule étape, entraîné via l'estimation conditionnelle du maximum de vraisemblance implicite (cIMLE). Appliqué au modèle π0.5, il fait passer la fréquence d'inférence de 15 Hz à 55 Hz, soit un facteur 3,67, et jusqu'à 11 fois le débit d'action. Sur le benchmark LIBERO, qui couvre 40 tâches, IMLE-VLA atteint 98,0% de réussite moyenne, le meilleur score et la plus haute fréquence d'inférence parmi les méthodes comparées. Sous les perturbations du test LIBERO-plus, il conserve la robustesse de π0.5 alors que les autres approches se dégradent nettement. Sur un bras Franka Emika Panda, quatre tâches en conditions réelles montrent un jerk réduit de 2,2 à 3,0 fois et un temps d'inférence par épisode divisé par 3,9 à 6,6 par rapport à π0.5 seul. Le problème visé est bien identifié dans le secteur: les têtes d'action entraînées par diffusion ou flow matching, comme celle de π0.5, exigent un échantillonnage multi-étapes (jusqu'à 10 pas d'Euler), ce qui produit un mouvement saccadé du robot et ralentit l'exécution des tâches. Pour les intégrateurs et équipes robotique qui déploient des bras ou des humanoïdes pilotés par des modèles de fondation, la latence d'inférence conditionne directement la fluidité et la sécurité du contrôle en temps réel. En montrant qu'un générateur à étape unique peut couvrir la multimodalité de l'action sans tomber dans l'effondrement de mode des têtes de régression classiques, IMLE-VLA remet en cause l'idée reçue selon laquelle l'échantillonnage itératif serait indispensable pour préserver la généralisation des politiques VLA à grande échelle. Ce travail s'inscrit dans la lignée des VLA construits sur des backbones vision-langage préentraînés, avec π0.5 comme base de comparaison. Il s'agit d'une contribution académique et non d'un produit commercial: code et vidéos de démonstration sont publiés sur le site du projet à des fins de reproductibilité, sans annonce de déploiement industriel ni de pilote client. Présentée comme générique, la méthode cIMLE pourrait en principe s'appliquer à d'autres têtes d'action par diffusion ou flow matching utilisées ailleurs dans le secteur, ce qui ouvre la voie à des tests sur d'autres politiques VLA et d'autres plateformes robotiques, au-delà du seul bras Franka Emika Panda utilisé pour cette validation.

RechercheActu
1 source
UniWAM : modèle unifié du monde et de l'action
4arXiv cs.RO 

UniWAM : modèle unifié du monde et de l'action

UniWAM, présenté sur arXiv (2610.02054, première version), est une architecture unifiée qui combine trois blocs : un « raisonneur physique » issu d'un modèle vision-langage préentraîné, un générateur de monde (vidéo) et un prédicteur d'actions. L'ensemble apprend conjointement la compréhension sémantique du monde physique, la génération visuelle et la prédiction d'actions. Les auteurs ont construit un pipeline de nettoyage et d'annotation pour les données égocentriques humaines et les données robot. Les actions bas niveau sont exprimées en langage naturel, afin de préserver les capacités linguistiques du modèle de base. Le préentraînement répartit les supervisions entre composants : VQA (questions-réponses visuelles), vidéos égocentriques humaines et démonstrations robot. Au post-entraînement, une augmentation par bruit visuel sur le futur réduit la dépendance à des prédictions précises, et un flow matching conditionné par l'historique d'actions initialise la génération d'actions. Selon les auteurs, cela réduit nettement le nombre d'étapes de débruitage sans perte de performance. Ils revendiquent l'état de l'art en performance in-distribution, robustesse, généralisation, suivi d'instructions et tâches longues. Le résumé ne donne ni chiffres ni noms de benchmarks. L'intérêt est de s'attaquer à un compromis connu. Les modèles VLA (vision-langage-action) héritent du raisonnement des VLM, mais une supervision limitée aux actions leur donne peu d'ancrage dans la dynamique physique. À l'inverse, les modèles monde-action, bâtis sur la génération vidéo, captent bien les régularités spatio-temporelles mais comprennent et raisonnent moins bien hors distribution. Unifier les deux dans un seul modèle est une réponse directe à ce problème de robustesse, qui compte pour les intégrateurs confrontés au fossé entre démo et déploiement. La réduction des étapes de débruitage compte aussi pour la latence de contrôle, point faible des approches fondées sur la vidéo. Le résultat le plus transposable est la loi d'échelle log-linéaire du co-entraînement humain-robot. Si elle se confirme, elle soutient l'idée que les vidéos humaines, bien moins chères que la téléopération, peuvent servir de levier de données. Prudence toutefois : il s'agit d'un préprint non évalué par les pairs, sans test annoncé sur robot en production. Ce travail s'inscrit dans la course entre VLA (Pi-0 de Physical Intelligence, GR00T de NVIDIA, Helix de Figure) et modèles monde-action, qui exploitent la génération vidéo pour la planification. Il prolonge aussi la tendance à exploiter les données égocentriques humaines pour pallier la rareté des démonstrations robot. Le résumé ne cite ni équipe, ni plateforme robotique, ni calendrier de publication du code ou des poids. Il faudra donc attendre le texte complet pour juger du protocole, de la comparaison avec les références et de la validation sur matériel réel.

RecherchePaper
1 source