RecherchearXiv cs.RO 22 octobre 2026

CW-WAM : un modèle d'action du monde structuré par les torseurs de contact pour la manipulation sensible aux forces

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

CW-WAM, un « world action model » (WAM) présenté sur arXiv, prédit conjointement la vidéo, le mouvement et le torseur de contact (contact wrench, c'est-à-dire forces et couples d'interaction). Le module d'interaction unifié traite mouvement et wrench comme cibles de modélisation et produit des blocs (chunks) alignés dans le temps. Un mécanisme d'attention « pair-causal » structure leurs dépendances, et une mémoire de wrench de longueur fixe conserve l'historique des contacts. Le wrench prédit sert de référence de force à un contrôleur d'admittance en boucle externe à 20 Hz, dans une architecture lente-rapide qui maintient le retour d'effort et la fluidité entre deux requêtes au modèle. Sur l'insertion de chevilles carrées avec 1 mm de jeu par côté, le taux de réussite passe de 25 % à 70 %. Pour des adaptateurs secteur, il passe de 40 % à 95 %, par rapport à un WAM sans entrée wrench. La précision de hauteur de levage selon la charge s'améliore aussi. L'erreur RMSE de la référence de force tombe de 4,8 à 2,7 N en insertion et de 2,0 à 1,3 N en essuyage, avec moins de fluctuations de force lors des exécutions réussies.

Ces résultats visent un point faible des modèles vision-action actuels, qui déduisent mal les efforts de contact à partir des seuls pixels. Or l'assemblage à faible jeu, le branchement de connecteurs ou la manipulation de charges variables sont des tâches très demandées par les intégrateurs. Intégrer la force comme variable de premier plan, plutôt que de la laisser à un contrôleur bas niveau aveugle au contexte, indique une voie crédible pour passer des démonstrations à des tâches de contact fiables. Les gains sont nets, mais il faut les relativiser : il s'agit d'un preprint sans revue par les pairs, comparé à une seule base interne (le même modèle sans wrench), sur un nombre de tâches restreint. Les protocoles d'essai (nombre d'épreuves, plateforme matérielle, pièces) ne sont pas détaillés dans le résumé, et rien ne prouve encore une généralisation à des pièces ou des environnements inédits. Aucune mesure de temps de cycle ni de coût n'est fournie.

Ce travail s'inscrit dans la montée des world action models, qui prolongent les VLA (vision-langage-action) en apprenant aussi à prédire l'évolution visuelle de la scène. Il emprunte au contrôle hybride mouvement-force, une approche classique de la robotique industrielle. Il se positionne face aux VLA généralistes comme Pi-0, GR00T ou Helix, qui restent surtout pilotés par la vision et la proprioception, et face aux travaux intégrant tactile ou couple articulaire. Un site de projet est annoncé, mais aucun pilote industriel ni calendrier de transfert n'est mentionné. La prochaine étape logique sera la validation sur plusieurs robots et sur des lignes d'assemblage réelles.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

TacForeSight : un modèle du monde tactile guidé par la force pour la manipulation en contact dense

Des chercheurs ont publié sur arXiv (référence 2606.11184) TacForeSight, un framework léger d'anticipation tactile guidée par la force pour la manipulation en contact riche. Le système repose sur deux composants : TacForceWM, un modèle du monde tactile qui prédit les dynamiques latentes tactiles à court horizon à partir de capteurs bi-doigts conditionnés par les signaux de force et de couple au poignet à haute fréquence, et une politique conditionnée par l'anticipation tactile (Predictive Tactile-Conditioned Policy) qui exploite ces prédictions comme priors de contact, modélise l'évolution tactile courante-vers-future via cross-attention, et fusionne les features visuo-tactiles via un module de gating adaptatif. Les expériences portent sur cinq tâches représentatives de manipulation sur robot réel et trois scénarios de perturbation en cours de manipulation, avec des résultats supérieurs aux baselines existantes dans tous les cas, notamment sous perturbations de contact dynamiques. Le code et les datasets seront mis à disposition publiquement sur tacforesight.github.io. L'apport technique central est de modéliser explicitement les rôles asymétriques de la force globale au poignet (basse résolution spatiale, haute fréquence) et du toucher local bi-doigts (haute résolution spatiale, dynamique plus lente), distinction que la plupart des méthodes d'imitation learning actuelles ignorent. En opérant entièrement dans un espace latent compact, le framework permet un raisonnement de contact proactif compatible avec le contrôle haute fréquence, là où les approches réactives échouent sous perturbations imprévues. Pour les intégrateurs industriels et les équipes travaillant sur l'assemblage ou le conditionnement robotisé, c'est une démonstration concrète que la fusion force+tactile dans un world model améliore la robustesse réelle sans alourdir l'inférence en temps réel. Ce travail s'inscrit dans une vague de recherche combinant world models et retour tactile pour la manipulation dextre, aux côtés d'approches comme Pi-0 (Physical Intelligence) ou les travaux sur GR00T N2 de NVIDIA qui intègrent également des politiques tactile-aware. Aucun concurrent français ou européen direct n'est identifié sur ce créneau précis, bien que des acteurs comme Pollen Robotics ou Enchanted Tools s'appuient aussi sur la manipulation fine. Il s'agit ici d'un preprint non encore évalué par les pairs, sans déploiement industriel ni partenaire annoncé : les résultats, bien que prometteurs sur cinq tâches de laboratoire, devront être reproduits sur des géométries et conditions de contact plus variées avant de valider la généralisation à l'échelle industrielle.

UEImpact indirect : le code open-source prévu sur tacforesight.github.io pourrait être exploité par des équipes européennes travaillant sur la manipulation fine, comme Pollen Robotics ou les labos CEA-List, mais aucun acteur FR/EU n'est impliqué dans ce travail.

RecherchePaper

1 source

2arXiv cs.RO

VT-WAM : modèle du monde et action visuo-tactile pour la manipulation à contacts riches

Des chercheurs présentent VT-WAM, un modèle de manipulation robotique combinant vision et toucher, décrit dans un article déposé sur arXiv (2607.02503v1) et accompagné d'un site dédié (vt-wam.github.io). Le système, un "Visual-Tactile World Action Model", apprend simultanément trois choses dans un même cadre de flow matching : prédire les images visuelles futures, prédire la déformation tactile future, et prédire l'action à exécuter. Deux mécanismes techniques soutiennent cette approche : une attention "Asymmetric Mixture-of-Transformers" (MoT) qui relie une première image de référence à la dynamique tactile dans le temps, et un module nommé AVTAG (Action-Visual-Tactile Attention Guidance) qui force le modèle à s'appuyer davantage sur le signal tactile pendant les phases de contact. Sur six tâches de manipulation en conditions réelles impliquant un contact physique important, VT-WAM atteint un taux de réussite moyen de 71,67%, contre des scores inférieurs de 26,67 points pour Fast-WAM et de 35,84 points pour OmniVTLA, deux modèles de référence utilisés en comparaison. L'enjeu dépasse la simple performance chiffrée : les politiques visuo-tactiles existantes se contentent généralement d'injecter le signal tactile brut dans la prédiction d'action, sans modéliser comment cette déformation évolue dans le temps. Or c'est précisément sur les tâches à fort contact (insertion, préhension d'objets déformables, gestion du glissement) que les modèles purement visuels ou de type VLA (vision-language-action) échouent le plus souvent, malgré des démonstrations impressionnantes en environnement contrôlé. Pour les intégrateurs industriels qui cherchent à automatiser des opérations d'assemblage fin, ce travail illustre une piste concrète pour combler l'écart entre démonstration et fiabilité réelle. Le papier s'inscrit dans la lignée des "world models" appliqués à la robotique, dont Fast-WAM constitue un prédécesseur direct servant de base de comparaison, aux côtés de familles de modèles VLA comme OmniVTLA. Il s'agit toutefois d'une publication académique, sans acteur industriel identifié ni date de déploiement annoncée : les résultats restent circonscrits à six tâches de laboratoire, et les auteurs eux-mêmes soulignent via leurs ablations que la modélisation de la dynamique tactile reste un problème ouvert plutôt qu'une solution définitivement close.

RecherchePaper

1 source

3arXiv cs.RO

HiTac-WAM : un modèle hiérarchique d'action du monde tactile pour la manipulation robotique à contacts riches

Un preprint publié sur arXiv le 21 août 2026 décrit HiTac-WAM, un modèle monde d'action tactile et hiérarchique pour la manipulation robotique en contact riche (arXiv:2608.19574v1). Le système décompose la prévision tactile en trois étages successifs, état de contact, champ de déformation 3D, puis risque de glissement, et classe les segments d'action candidats selon ces prévisions avant de déclencher une replanification si l'écart entre tactile prédit et observé persiste à l'exécution. À budget d'entraînement égal, cette hiérarchie réduit l'erreur de déplacement 3D de 17,6% et améliore la détection de glissement de 60,4% par rapport à des prédicteurs non hiérarchiques. Sur trois tâches robotiques réelles, préhension de puces électroniques, effacement de tableau, insertion de connecteur USB, cette sélection fait passer le taux de réussite moyen de 31,1% à 61,1%, et le système complet atteint 72,2%, avec un F1 de contact moyen de 0,921. Ces résultats indiquent qu'une modélisation structurée du signal tactile, plutôt que la représentation en image ou en flux latent utilisée par les approches existantes, améliore nettement la fiabilité de la manipulation en contact riche, un point de friction connu pour l'assemblage fin, l'insertion de connecteurs ou la manipulation d'objets fragiles. Le taux de réussite plus que doublé par rapport à une sélection sans hiérarchie tactile suggère que séparer contact, déformation et glissement capture mieux la physique du contact que les architectures bout en bout existantes, un argument utile pour les intégrateurs cherchant à dépasser la démonstration contrôlée. Pour les équipes travaillant sur des modèles monde ou des architectures vision-langage-action, ce travail illustre une piste pour fiabiliser l'action à partir du retour tactile sans nécessairement accroître le volume de données. Le travail s'inscrit dans la lignée des modèles monde d'action qui prédisent conjointement observations et actions, en corrigeant une limite des variantes tactiles existantes: l'absence de dépendances physiques structurées entre contact, déformation et glissement. Il s'agit à ce stade d'un preprint arXiv nouvellement soumis, validé sur trois tâches de manipulation en laboratoire et non d'un produit déployé ou d'un pilote industriel, sans calendrier de commercialisation annoncé, les gains restant à confirmer au-delà de ces trois tâches.

RecherchePaper

1 source

4arXiv cs.RO

ForeTime-VLA : distillation causale de jetons futurs à partir d'un modèle d'action du monde pour la manipulation sur convoyeur

Un article publié le 24 août 2026 sur arXiv (2608.20735) décrit ForeTime-VLA, une politique de manipulation robotique bâtie sur pi0.5 et conçue pour la saisie d'objets sur tapis roulant. Hors ligne, le système distille d'un modèle enseignant figé issu d'un world action model nommé Fast-WAM une cible compressée en 64 dimensions représentant les trames vidéo futures ; à l'inférence, un encodeur de huit trames d'historique prédit seul cette cible, la phase de manipulation et le temps avant transition, sans faire tourner le modèle enseignant. Sur 768 fenêtres de test issues d'un jeu de données de tapis roulant dédupliqué, l'erreur absolue moyenne recule de 0,134119 à 0,130593 (2,63%, IC95% 0,82-4,48%) et l'erreur L2 de 3,02%, pour un surcoût de latence de 2,46 à 2,93%. En essais réels sur robot, le système obtient 81,1% de réussite de saisie sur objets immobiles et 58,9% sur objets lents (+12,2 et +22,2 points face à la meilleure référence), et réussit 44 saisies sur 90 contre 23 pour pi0.5 de base, dont 11 sur 30 contre 2 sur 30 à vitesse rapide. L'enjeu dépasse le simple gain de précision : les politiques VLA classiques, entraînées sur la seule observation courante, peinent à anticiper le contact avec un objet en mouvement, un frein direct pour le tri et la logistique automatisés où les convoyeurs restent la norme. Les modèles de monde apprennent cette dynamique prédictive mais restent trop coûteux à exécuter en temps réel ; ce travail montre qu'une distillation causale de tokens futurs, réalisée hors ligne puis intégrée à un encodeur léger, peut en capter le bénéfice sans en payer le coût d'inférence. La corrélation entre les gains hors ligne sur l'orientation et la baisse réelle des échecs de pose de contact reste l'argument le plus solide avancé par les auteurs, dans un champ où l'écart entre métriques d'entraînement et performance réelle est une critique récurrente adressée aux VLA. Le travail prend pi0.5, la politique de Physical Intelligence largement utilisée comme référence en recherche robotique, comme base directe de comparaison. L'abstract ne précise ni l'affiliation des auteurs ni de calendrier commercial : il s'agit d'une contribution de recherche postée en cross-listing sur arXiv et testée sur un banc propriétaire de tapis roulant, pas d'un produit annoncé par une entreprise, et aucun acteur français ou européen n'y figure. Elle s'inscrit néanmoins dans la compétition plus large autour des world models appliqués à la robotique, aux côtés d'approches comme GR00T N2 de NVIDIA ou Helix de Figure AI, qui visent la même anticipation temporelle des politiques VLA. Les auteurs ne mentionnent aucune suite prévue au-delà de ces résultats, laissant ouverte une validation sur des tâches de manipulation plus variées que la seule saisie sur convoyeur.

RechercheActu

1 source