Aller au contenu principal
SkeleWAM : modélisation squelette du monde et de l'action pour une manipulation robotique efficaceIllustration générée par IA
RecherchearXiv cs.RO 

SkeleWAM : modélisation squelette du monde et de l'action pour une manipulation robotique efficace

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient sur arXiv (2610.02120) SkeleWAM, un modèle « world action » (WAM) compact pour la manipulation robotique. Un WAM combine la génération d'actions du robot avec la prédiction d'états futurs. La plupart des WAM existants prédisent des vidéos ou des latents visuels appris. Le nouveau modèle représente plutôt la scène sous la forme d'un squelette 3D épars, composé des articulations du robot, des centres d'objets et de points d'interaction. Ce squelette est construit en ligne à partir des images RGB-D courantes et de la proprioception du robot. Il sert d'état géométrique unique pour générer les actions et prédire les squelettes futurs, ce qui apporte une supervision géométrique supplémentaire sans reconstruction visuelle. À l'inférence, le modèle produit les actions directement depuis le squelette courant et l'instruction en langage naturel. Une stratégie auxiliaire, Medoid Action Consensus (MAC), sélectionne parmi plusieurs échantillons d'actions stochastiques un consensus représentatif. Sur le benchmark LIBERO-Plus, SkeleWAM atteint 85,9 % de réussite globale avec 57,1 millions de paramètres, soit 3,7 points de plus que Cosmos-Policy.

L'intérêt tient au compromis entre performance et taille. Les WAM fondés sur la vidéo ou sur des latents visuels portent des informations d'apparence sans rapport avec le contrôle et ne codent la géométrie d'interaction qu'implicitement. Avec 57,1 M de paramètres, SkeleWAM se situe très en dessous des modèles de fondation de type VLA, qui comptent en général plusieurs milliards de paramètres. Si l'approche tient hors benchmark, elle ouvre la voie à des politiques embarquables sur du calcul modeste, un point décisif pour les intégrateurs qui visent des cellules industrielles sans GPU lourd. Elle suggère aussi qu'un état structuré, centré sur les relations robot-objet, peut suffire à remplacer la prédiction de pixels. Des réserves s'imposent : LIBERO-Plus est un benchmark en simulation, qui évalue la robustesse à des perturbations, et l'écart de 3,7 points reste modeste. Aucun test sur robot réel n'est mentionné dans le résumé. Enfin, la construction du squelette suppose une perception RGB-D fiable, ce qui déplace une partie de la difficulté vers l'estimation des centres d'objets et des points d'interaction en conditions réelles.

SkeleWAM s'inscrit dans la montée des world action models, qui cherchent à marier politique et modèle du monde, avec Cosmos-Policy comme référence directe de la comparaison. La tendance dominante a consisté à prédire des vidéos futures, coûteuses en calcul. Les travaux récents explorent des représentations plus sobres, géométriques ou latentes, pour réduire ce coût. Les auteurs publient une page de projet (skelewam-project.github.io). La suite logique serait une validation sur matériel réel, sur des tâches variées et dans des environnements encombrés, ainsi qu'une comparaison avec les grands VLA sur des benchmarks complémentaires. Il s'agit pour l'instant d'une préimpression, sans produit ni déploiement associé.

À lire aussi

PointWAM : modélisation d'actions du monde en 3D pour la manipulation robotique dextre
Illustration générée par IA
1arXiv cs.RO 

PointWAM : modélisation d'actions du monde en 3D pour la manipulation robotique dextre

Des chercheurs publient sur arXiv (2610.02840) PointWAM, un « Point World Action Model » qui prédit conjointement l'évolution du monde et les actions d'un robot sous forme de trajectoires de points 3D. Le modèle décompose la scène en deux entités, l'environnement et les mains (l'acteur). Les deux sont prévus dans un même repère espace-temps. À partir d'un nuage de points coloré et d'une instruction en langage naturel, il anticipe comment la scène et les mains évoluent ensemble. Il retranspose ensuite le mouvement de main prévu en commandes robot. Les résultats sont ceux des auteurs, sur le benchmark DexJoCo et sur un robot réel. Le pré-entraînement sur des vidéos de démonstrations humaines améliore le taux de succès moyen sur DexJoCo de 56,9 points de pourcentage. Ajouter la supervision des trajectoires de la scène, et pas seulement celles des mains, apporte 10,9 points de plus. Avec les deux ingrédients, PointWAM dépasse de 11,7 points l'état de l'art précédent sur dix tâches DexJoCo et surpasse de « solides » VLA (modèles vision-langage-action) sur un robot physique. L'article ne précise pas dans cet extrait les modèles de référence, le robot ou le nombre d'essais. L'enjeu est la manipulation dextre, où les approches courantes montrent leurs limites. Les world action models habituels représentent le monde en images RGB ou en espaces latents, et les actions en poses d'effecteur ou en angles articulaires. Ces représentations capturent mal la structure spatiale 3D et la géométrie des contacts, qui décident pourtant du succès d'une saisie ou d'une manipulation en main. Une représentation explicite en points 3D évite aussi de choisir à la main les objets ou points-clés propres à chaque tâche. Elle permet ainsi un pré-entraînement à grande échelle sur des vidéos humaines, une source de données bien moins coûteuse que la téléopération robotique. Le gain de 56,9 points suggère que le transfert humain vers robot dépend beaucoup du choix de représentation. Ces chiffres viennent d'un preprint non évalué par les pairs, sur un benchmark très probablement en grande partie simulé. Le résultat sur robot réel reste à qualifier, notamment sur la diversité des tâches et la robustesse hors laboratoire. Ce travail s'inscrit dans la montée des world action models, qui fusionnent prédiction de dynamique et génération d'actions, en réaction aux VLA purement réactifs. Ces derniers, comme Pi-0 ou Helix, s'appuient sur des représentations 2D et des données robot coûteuses. PointWAM se place sur le créneau de l'apprentissage à partir de vidéos humaines et de la 3D explicite, face aux approches par images ou latents. La suite dépendra de la reproduction des résultats, d'une éventuelle publication du code et des poids, et de tests sur des mains robotiques multi-doigts variées. Aucune application industrielle ni calendrier de déploiement n'est annoncé à ce stade.

RecherchePaper
1 source
Modélisation directe de la variété d'actions pour une manipulation bimanuelle efficace et robuste
Illustration générée par IA
2arXiv cs.RO 

Modélisation directe de la variété d'actions pour une manipulation bimanuelle efficace et robuste

Des chercheurs proposent DMAT (Direct Manifold Action Transformer), une politique visuomotrice pour la manipulation bimanuelle qui remplace la génération d'actions par diffusion ou flow matching par une prédiction directe en une seule étape. Le modèle prend en entrée la vision (avec une géométrie 3D locale servant d'ancrage spatial) et la proprioception, puis prédit directement des séquences d'actions (« action chunks ») propres dans l'espace articulaire, à partir d'interpolants stochastiques. Un module baptisé State-Consistent Spectral-Time Refinement (STR) réconcilie les séquences prédites avec l'état proprioceptif du robot et supprime les résidus haute fréquence. Sur 567 essais par méthode, répartis entre conditions standard et hors distribution (OOD), DMAT affiche un taux de succès agrégé supérieur de 129,1 % à celui d'Improved 3D Diffusion Policy (IDP3) et de 95,7 % à celui de DiTFlow3D. Il génère aussi ses séquences 2,06 fois et 1,34 fois plus vite, et reste robuste face à des interventions répétées de 50 N. L'enjeu est la latence et le décalage d'exécution qu'imposent les politiques génératives actuelles, qui exigent un débruitage itératif ou une intégration numérique à chaque séquence d'actions. L'hypothèse défendue est que, pour des démonstrations bimanuelles, les actions se concentrent dans une région structurée de l'espace articulaire, dépendante de l'observation : il serait donc plus simple de modéliser directement la cible que le processus génératif. Si elle se confirmait au-delà de ce banc d'essai, cela remettrait en cause l'idée que la multimodalité des actions impose forcément la diffusion, et offrirait aux intégrateurs une inférence plus légère et plus prévisible sur du matériel embarqué. Des réserves s'imposent toutefois. Les gains relatifs, exprimés en pourcentage, dépendent fortement de taux de base qui ne sont pas détaillés dans le résumé. Le gain de vitesse face à DiTFlow3D reste modeste (1,34x). Le nombre de tâches, la plateforme robotique, le nombre de démonstrations et la validation en conditions réelles ne sont pas précisés, et la robustesse n'est testée que sur des perturbations de 50 N. Ce travail s'inscrit dans la lignée des politiques de diffusion (Diffusion Policy, 3D Diffusion Policy et sa variante améliorée IDP3) puis des approches par flow matching, devenues la base de nombreux modèles vision-langage-action (VLA) récents. Ces approches ont gagné en précision mais au prix d'un coût d'inférence, que la communauté tente de réduire par distillation ou par des procédures de redressement de trajectoires. DMAT prend le contraire : supprimer le processus itératif lui-même. Il s'agit d'une préprint arXiv (v1), sans évaluation par les pairs ni code annoncé dans le résumé. Les prochaines étapes à surveiller sont une réplication sur d'autres plateformes bimanuelles, des comparaisons avec des politiques one-step distillées, et un test sur des tâches longues à forte multimodalité, où la prédiction directe est la plus susceptible de montrer ses limites.

RecherchePaper
1 source
GAWM : un modèle latent compact du monde et de l'action pour la manipulation robotique multitâche
Illustration générée par IA
3arXiv cs.RO 

GAWM : un modèle latent compact du monde et de l'action pour la manipulation robotique multitâche

Des chercheurs présentent GAWM (Geometry-Aware World Model), un modèle monde-action (WAM) compact pour la manipulation robotique multitâche, décrit dans un article arXiv de type letter. Le système prédit les observations futures dans l'espace latent d'un encodeur DINOv3 gelé. Les caractéristiques de chaque caméra sont compressées en un petit nombre de tokens. Un prédicteur léger, conditionné par la tâche et non par les actions, anticipe ces tokens à deux horizons futurs. Sa supervision repose sur les caractéristiques denses par patch des images futures, ce qui l'oblige à encoder la disposition spatiale de la scène. Un décodeur d'actions régresse ensuite directement un « chunk » d'actions à partir des tokens courants et prédits. Avec moins de 100 millions de paramètres et sans préentraînement robotique ni vidéo, GAWM dépasse des WAM à plusieurs milliards de paramètres sur RoboTwin 2.0. Il fait jeu égal avec des VLA (modèles vision-langage-action) de taille comparable sur LIBERO. Sur un robot bimanuel, il obtient une erreur de prédiction d'actions plus faible sur des démonstrations tenues à l'écart qu'un VLA milliardaire affiné, avec une latence d'inférence nettement réduite. Le code est publié sur GitHub. L'enjeu est celui du coût de la politique robotique. La plupart des WAM s'appuient sur des backbones vision-langage ou de génération vidéo à plusieurs milliards de paramètres, ce qui pèse sur l'entraînement et surtout sur la latence d'inférence, un point critique pour le contrôle en boucle fermée sur du matériel embarqué. GAWM suggère qu'une prédiction du futur utile à la politique n'exige pas de générer des pixels ni d'hériter d'un gros préentraînement : un espace de caractéristiques gelé et riche en géométrie peut suffire. Les ablations indiquent que le modèle monde latent apporte l'essentiel de son gain quand les données ou le temps d'entraînement sont limités, un scénario courant chez les intégrateurs qui n'ont que quelques dizaines de démonstrations par tâche. Une réserve s'impose : les benchmarks RoboTwin 2.0 et LIBERO sont en grande partie simulés, et la validation réelle se limite à une erreur d'action hors ligne sur un robot bimanuel, pas à un taux de réussite de tâches en conditions réelles. L'écart entre erreur de prédiction et succès effectif reste donc à démontrer. Ce travail s'inscrit dans la montée des WAM, qui injectent la prédiction d'observations futures dans l'apprentissage de politiques, en réaction à des VLA purement réactifs. Le courant dominant, porté par des modèles fondés sur des backbones vidéo ou VLM massifs, a fait de l'échelle la voie par défaut. GAWM propose le contrepoint inverse, en cohérence avec l'intérêt croissant pour les politiques légères exécutables sur GPU embarqué. Les prochaines étapes à surveiller sont des évaluations en conditions réelles avec taux de succès, des comparaisons directes de latence en millisecondes face aux VLA de référence, et la capacité de l'approche à tenir sur des tâches longues ou à manipulation fine, que les benchmarks actuels couvrent mal.

RecherchePaper
1 source
Modélisation conjointe monde-action sensible aux affordances pour la manipulation robotique (AffordanceWAM)
Illustration générée par IA
4arXiv cs.RO 

Modélisation conjointe monde-action sensible aux affordances pour la manipulation robotique (AffordanceWAM)

Une équipe de recherche a publié le 22 septembre 2026 sur arXiv, sous la référence 2609.22332, AffordanceWAM, un nouveau modèle conjoint de monde et d'action pour la manipulation robotique généraliste. Bâti sur un Transformer de diffusion vidéo pré-entraîné, il associe un module « World Expert » et un module « Action Expert » reliés par une attention conjointe masquée, pour prédire simultanément les images RGB futures de la scène, un champ d'affordance scalaire, une carte de chaleur des zones manipulables et la trajectoire d'action continue du robot, sous un objectif d'entraînement unique de type flow-matching. Les vidéos humaines filmées à la première personne supervisent ces trois flux visuels, tandis que les démonstrations robotiques ajoutent la supervision d'action, sans retargeting ni étiquetage manuel des gestes humains, avant validation sur les bancs d'essai RoboCasa et CALVIN (protocole ABC vers D) et sur des tâches de manipulation réelles. Le problème visé est la pénurie de données d'entraînement pour les politiques vision-langage-action : les vidéos robot avec actions étiquetées restent coûteuses et peu diversifiées, tandis que les vidéos humaines égocentriques, abondantes, manquent d'actions robotiques exploitables et diffèrent en morphologie. AffordanceWAM affiche des gains constants face à des références limitées au RGB seul ou aux seules données robot, et surtout une amélioration monotone sur RoboCasa à mesure que le volume de vidéos humaines annotées en affordance augmente, à supervision robot constante. Pour les équipes entraînant des modèles VLA à grande échelle, ce résultat trace une voie pour réduire la dépendance à la téléopération coûteuse en exploitant des corpus vidéo humains déjà disponibles en masse. Le travail s'inscrit dans la tendance des modèles du monde appliqués à la robotique, où prédiction vidéo et génération d'action sont fusionnées dans une architecture unique plutôt que traitées séparément, une direction également suivie par plusieurs laboratoires industriels développant des modèles vision-langage-action. Il s'agit à ce stade d'une prépublication non encore validée par relecture par les pairs, testée sur des bancs d'essai académiques et un nombre restreint de scénarios réels, et non d'un produit ou d'un déploiement commercial. Le papier ne précise ni la taille exacte des corpus vidéo humains, ni de calendrier de publication du code ou des poids du modèle, laissant la reproductibilité comme prochaine étape à vérifier.

RechercheActu
1 source