Aller au contenu principal
SplineWAM : des horizons d'action adaptatifs pour les modèles du monde et d'action grâce aux B-splinesIllustration générée par IA
RecherchearXiv cs.RO 

SplineWAM : des horizons d'action adaptatifs pour les modèles du monde et d'action grâce aux B-splines

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient SplineWAM (arXiv 2609.39873), une méthode qui change la façon dont les « world action models » (WAM) découpent leurs actions dans le temps. Un WAM est une grande politique robotique qui prédit conjointement la vidéo future et les actions à exécuter, et renvoie à chaque appel d'inférence un segment d'actions de longueur fixe (action chunk). SplineWAM compresse au contraire la trajectoire dans une fenêtre de taille fixe de paramètres de B-splines cubiques, dont les instants de nœuds s'ajustent aux caractéristiques du mouvement. Un même budget de paramètres peut ainsi se décoder en segments de résolution et de durée variables, et la durée exécutée comme l'intervalle avant le prochain appel découlent de la prédiction elle-même. La supervision vidéo est alignée sur les nœuds ajustés de la démonstration plutôt que sur une grille uniforme, ce qui concentre les images supervisées là où la trajectoire est complexe. Pour l'exécution asynchrone, les auteurs introduisent JP-RTC (Jacobian-Pullback Real-Time Chunking), qui impose la continuité sur les actions brutes exécutées par le robot, et non sur les paramètres de la spline. Les paramètres sont corrigés via le décodeur pour que le début du segment coïncide avec les actions déjà engagées. Sur LIBERO-Plus et RoboCasa, le taux de réussite gagne 8,2 et 4,4 points face à un WAM à action chunking classique, avec 22 % et 26 % d'appels de politique en moins par épisode. Sur trois tâches bimanuelles réelles en mode asynchrone, SplineWAM fait mieux ou égale la référence tout en décodant 1,2 à 1,6 fois plus de mouvement exécuté par appel.

L'enjeu est surtout économique et opérationnel. Un WAM uniforme dépense autant de calcul sur un déplacement en espace libre que sur une insertion riche en contacts, ce qui plafonne le débit lorsque la politique tourne dans le cloud, où chaque appel coûte de la latence et du GPU. Moins d'appels pour un succès égal ou supérieur laisse envisager de servir davantage de robots par accélérateur, ou de tolérer des liaisons plus lentes. Le résultat nuance aussi l'idée qu'un horizon d'action fixe est un détail d'implémentation neutre : le choisir de façon adaptative semble améliorer à la fois la qualité et l'efficacité. Des réserves s'imposent toutefois. Les gains en simulation sont modestes, et les résultats réels, limités à trois tâches, indiquent « mène ou égale » la référence, ce qui n'est pas une victoire nette. Le papier ne donne pas, dans son résumé, de mesure de latence de bout en bout ni de coût par tâche.

Le contexte est celui de la montée des WAM, qui prolongent les VLA (vision-langage-action) en ajoutant la prédiction vidéo pour mieux ancrer la physique des tâches. Le problème de la continuité entre segments successifs a été traité jusqu'ici par le real-time chunking, que JP-RTC reprend en l'adaptant à une représentation paramétrique. Les B-splines, courantes en planification de trajectoire, entrent ainsi dans la conception des politiques apprises. Les benchmarks utilisés, LIBERO-Plus et RoboCasa, sont des environnements de simulation de référence, mais leur transfert à des cellules industrielles reste à démontrer. Aucun partenaire industriel ni calendrier de déploiement n'est annoncé : il s'agit d'une préversion de recherche, dont la validité dépendra d'une réplication sur d'autres plateformes et d'une mesure du gain réel en coût de service cloud.

À lire aussi

AnyStep-WAM : distillation alignée sur le budget et inférence adaptative pour les modèles d'action du monde
Illustration générée par IA
1arXiv cs.RO 

AnyStep-WAM : distillation alignée sur le budget et inférence adaptative pour les modèles d'action du monde

Des chercheurs proposent AnyStep-WAM, un cadre qui rend ajustable le nombre d'étapes de débruitage des « world action models » (WAM). Ces modèles couplent une prédiction visuelle de la scène à la génération d'actions, et reposent aujourd'hui sur un débruitage itératif à nombre d'étapes fixe. La méthode combine deux briques. D'abord, une distillation « budget-aligned » à partir de trajectoires d'un modèle enseignant gelé, qui entraîne des flow maps conditionnées par l'intervalle de temps, avec des adaptateurs low-rank partagés. Le modèle peut ainsi générer des actions en une seule étape ou en plusieurs étapes de raffinement. Ensuite, un ordonnanceur léger « risque-bénéfice » estime, à partir d'un unique aperçu en une étape, la difficulté de la scène (courbure de la trajectoire de l'enseignant) et la fidélité attendue de l'élève pour chaque budget. Il retient le plus petit budget qui satisfait l'exigence de fidélité adaptée au risque. Les tests portent sur trois WAM très utilisés, Motus, FastWAM et LingBotVA, sur le benchmark RoboTwin 2.0. Le nombre moyen d'étapes de débruitage baisse de 60,2 %, 49,8 % et 85,28 % respectivement, à taux de réussite inchangé. À budget d'une seule étape, l'entraînement AnyStep améliore le taux de succès de 7,07, 12,08 et 8,94 points ou pourcentages (l'article ne précise pas) selon le modèle. Six tâches de manipulation réelles viennent compléter l'évaluation. L'enjeu est la latence de décision, un des freins à l'utilisation de modèles génératifs sur des robots réels. Le débruitage à coût constant gaspille du calcul sur les gestes faciles, comme l'approche ou le transport, alors que seuls les gestes critiques (insertion, saisie fine) exigent de la précision. Allouer le calcul selon la scène rapproche les WAM de fréquences de contrôle compatibles avec des cadences industrielles, sans changer de modèle de base. Le fait que la méthode s'applique à trois architectures distinctes suggère une approche générique plutôt qu'un réglage sur mesure, ce qui intéresse les intégrateurs qui comparent coûts d'inférence et embarqué. Il faut toutefois rester prudent : les gains les plus nets sont mesurés en simulation, sur RoboTwin 2.0. Les six tâches réelles ne sont pas détaillées dans le résumé, et aucun temps de cycle ni gain de latence en millisecondes n'est donné, seulement des réductions d'étapes. La réduction d'étapes ne se traduit pas mécaniquement en gain de temps mesuré sur matériel. Ce travail s'inscrit dans une série de recherches qui cherchent à accélérer les politiques génératives, après les flow maps, la distillation en une étape et les modèles consistency. Les WAM, qui apprennent à prédire l'évolution visuelle du monde avec les actions, se placent en alternative aux VLA (vision-language-action) comme Pi-0 ou GR00T, au prix d'un calcul plus lourd. C'est ce surcoût que AnyStep-WAM vise à réduire. Il s'agit d'un preprint arXiv (version 2 du 2609.33748), sans relecture par les pairs ni déploiement industriel annoncé. La suite logique serait une validation sur plus de tâches réelles, avec mesure de la latence de bout en bout et de la robustesse hors distribution.

RecherchePaper
1 source
SANTS : un planificateur adaptatif à l'état pour les modèles d'action du monde
Illustration générée par IA
2arXiv cs.RO 

SANTS : un planificateur adaptatif à l'état pour les modèles d'action du monde

Des chercheurs proposent SANTS (State-Adaptive Noise Trajectory Scheduler), un scheduler léger pour les politiques de diffusion vidéo-vers-action dans les World Action Models (WAMs). Soumis sur arXiv (2605.27947) le 28 mai 2026, le travail part d'un constat empirique : dans les WAMs pixel-space, débruiter complètement la vidéo future n'optimise pas toujours la qualité de l'action produite. Au-delà d'un seuil dépendant de l'état du robot, le raffinement supplémentaire sature ou dégrade la performance. SANTS lit la représentation vidéo-état courante et le niveau de bruit, prédit un point d'arrêt adaptatif, et est entraîné par post-training avec une récompense sur la qualité finale de l'action (et non sur la fidélité de la vidéo intermédiaire). Résultats annoncés : 94,4 % de succès sur RoboTwin 2.0, 73,1 % sur sept tâches réelles, avec une réduction de latence de 81,7 % et 79,0 % respectivement par rapport au débruitage complet. L'enjeu opérationnel est la fréquence de contrôle : les WAMs souffrent d'une latence d'inférence élevée qui limite leur déploiement dans des boucles de contrôle rapides. Diviser par cinq ce coût d'inférence sans perte majeure de performance valide l'idée que la représentation future n'a pas besoin d'être parfaitement rendue pour conditionner efficacement l'action, une hypothèse implicite des architectures WAM qui n'était pas encore démontrée à cette échelle. Cela dit, le papier reste un preprint non relu par les pairs, et sept tâches réelles constituent un set de validation étroit pour prétendre à une généralisation industrielle. Les WAMs ont émergé comme alternative aux politiques VLA classiques en intégrant une prédiction vidéo du futur pour guider la génération d'actions. SANTS se positionne comme une surcouche d'optimisation compatible avec les designs existants, sans modifier la branche action du modèle de base. Dans l'écosystème actuel, Physical Intelligence (pi0), NVIDIA (GR00T N2) et Figure (Figure 03) développent des politiques de diffusion pour la manipulation, où la réduction de la latence d'inférence devient un facteur de compétitivité commerciale. Les prochaines étapes naturelles seraient une validation sur des benchmarks plus larges comme DROID ou Open X-Embodiment, et la mise à disposition publique des poids et du code.

RechercheOpinion
1 source
CausalWAM : apprendre les causes des actions dans les modèles du monde et d'action
Illustration générée par IA
3arXiv cs.RO 

CausalWAM : apprendre les causes des actions dans les modèles du monde et d'action

Des chercheurs proposent CausalWAM (CWAM), une méthode qui contraint les « world action models » (WAM) à produire leurs actions uniquement à partir des variables latentes qui les causent réellement. Un WAM apprend des variables latentes à partir des observations, puis s'en sert à la fois pour prédire l'évolution de la scène et pour générer des actions. La prédiction doit couvrir toute la scène, alors que seule une partie de celle-ci détermine les actions. Entraîné sur des démonstrations, un WAM peut imiter correctement tout en mélangeant les variables utiles à l'action avec des variables de nuisance, sans garantie de les séparer. Les auteurs ajoutent à une tête d'action déjà pré-entraînée un chemin de routage parcimonieux (sparse routing), sans toucher à l'objectif de modélisation du monde. Ils démontrent qu'avec une contrainte de parcimonie, les latents utilisés pour agir forment une fonction inversible des seules variables causales de l'action, et que la structure est identifiée à une permutation près. Les expériences portent sur des données synthétiques et sur des robots réels. Le résumé ne donne aucun chiffre, aucun nom de robot ni aucune tâche. L'« efficacité » annoncée en succès en boucle fermée reste donc à vérifier dans le papier complet. L'intérêt est surtout méthodologique. Les politiques de type VLA et WAM sont souvent jugées sur des démonstrations réussies, sans savoir si le modèle s'appuie sur les bons indices ou sur des corrélations parasites du décor. Une identifiabilité démontrée sans hypothèse de forte dépendance temporelle, ni sur l'évolution des régimes non observés, ni sur l'indépendance statistique entre latents causaux et reste de la scène, s'attaque à une fragilité connue : l'écart entre démo et déploiement quand l'environnement change. Pour un intégrateur, cela touche directement la robustesse hors distribution. La méthode se greffe aussi sur un modèle existant au lieu d'exiger un réentraînement complet, ce qui facilite l'adoption. Il s'agit toutefois d'un résultat de recherche, ni d'un produit ni d'un déploiement. Ce travail s'inscrit dans la montée des modèles de monde couplés à l'action, qui cherchent à dépasser les politiques purement imitatives, et dans un courant plus large d'apprentissage de représentations causales. Le papier est une prépublication (arXiv 2610.42096v1), sans relecture par les pairs, et aucune annonce de code, de pilote industriel ou de calendrier n'accompagne le résumé. La prochaine étape sera la comparaison à des WAM de référence sur des benchmarks partagés et sur des tâches de manipulation variées.

RecherchePaper
1 source
RM-WAM : modèles d'action du monde à mémoire augmentée et fiables pour la manipulation robotique à long horizon
Illustration générée par IA
4arXiv cs.RO 

RM-WAM : modèles d'action du monde à mémoire augmentée et fiables pour la manipulation robotique à long horizon

Des chercheurs proposent RM-WAM, un « World Action Model » (WAM) à mémoire augmentée, décrit dans un préprint arXiv (2610.15305, v2). Les WAM prédisent conjointement les états visuels futurs et les actions du robot, mais la plupart décident à partir de la seule observation courante. Pour contourner cette limite, RM-WAM combine deux mémoires complémentaires. La première est une mémoire d'état visuel à court terme, qui capte la dynamique récente de l'interaction. La seconde est une mémoire d'événements latents, qui encode les transitions d'état sur un horizon plus long. Un schéma d'apprentissage contrefactuel fait varier l'historique accessible tout en gardant fixes les entrées courantes et les cibles de prédiction. Le modèle apprend ainsi à estimer l'utilité de la mémoire selon le contexte. Un mécanisme de « gating » sensible à cette utilité décide ensuite, au cas par cas, quelle part de l'historique injecter dans le backbone qui prédit monde et actions. Le résumé ne donne aucun chiffre (taux de succès, tâches, robots, jeux de données), et il faut donc attendre le texte complet pour juger de l'ampleur des gains. L'enjeu touche à un point faible connu des politiques de manipulation, la fiabilité sur les tâches longues. Dans un assemblage ou un kitting multi-étapes, deux scènes visuellement identiques peuvent correspondre à des étapes différentes de la tâche. Une politique sans mémoire hésite alors ou répète une action déjà faite. L'approche naïve consiste à empiler les observations passées, mais les auteurs soulignent qu'elle peut injecter des informations périmées, désalignées avec l'étape en cours ou contaminées par des erreurs. Ces défauts faussent la prédiction du monde et font s'accumuler les erreurs en boucle fermée. Leur thèse est que la mémoire doit être traitée comme une ressource prédictive sélective, pas comme un contexte toujours bénéfique. Pour les intégrateurs, cela rappelle que la robustesse en production dépend moins de la taille du contexte que de la qualité de sa sélection. Il faut toutefois rester prudent : sans benchmarks publiés dans le résumé, rien ne dit que la méthode fonctionne sur du matériel réel ni qu'elle surpasse nettement les bases de comparaison. Ces travaux s'inscrivent dans la montée des modèles du monde appliqués à la robotique. Ceux-ci prolongent les politiques vision-langage-action (VLA) de type Pi-0 ou GR00T en y ajoutant la prédiction vidéo du futur. Le problème de la mémoire longue reste ouvert pour toute cette famille, et plusieurs équipes testent des fenêtres d'historique, des tokens de mémoire ou des représentations d'événements. RM-WAM se distingue par son estimation d'utilité apprise par contrefactuel, au lieu d'une mémoire appliquée uniformément. Il s'agit d'une publication académique, sans produit ni déploiement annoncé. Sa valeur dépendra de la reproduction des résultats, de la publication éventuelle du code et de tests sur des tâches longues réelles.

RecherchePaper
1 source