IA physiquearXiv cs.RO 22 septembre 2026

AR-WAM : un modèle monde-action prêt pour les agents, conditionné par la vision, pour la manipulation robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article déposé le 22 septembre 2026 sur arXiv (2609.23578) présente AR-WAM, un modèle de manipulation robotique qui remplace les instructions en langage naturel par deux signaux visuels : une boîte englobante désignant l'objet cible et un jeton d'opération appris précisant la compétence à exécuter. Compact avec 0,5 milliard de paramètres et un encodeur visuel figé, sans encodeur de langage, il prédit l'évolution de la scène en espace latent tout en décodant les actions. Une couche de compatibilité à trois primitives, détecter, exécuter, interroger, permet à un VLM local ou une API d'agent de piloter la politique. Testé sur RoboTwin 2.0, RMBench et un robot réel bi-bras Astribot S1, il atteint 87,2% de succès en manipulation standard, gagne 5,9 points sur les tâches à mémoire et 36,7 points sur les tâches longues réelles, avec la latence la plus basse du comparatif, 14,1 millisecondes.

Le choix cible un problème identifié par les auteurs : les VLA et les world action models dominants spécifient encore les tâches en langage naturel, une interface jugée ambiguë sur les références, imprécise spatialement et redondante avec la compréhension déjà portée par l'agent. En séparant le « quoi », décidé par l'agent, du « comment », exécuté par le robot via un grounding visuel explicite, AR-WAM offre une interface standardisée qui intéresse les intégrateurs cherchant à connecter des piles agentiques à des flottes de robots hétérogènes plutôt qu'à des prompts textuels ad hoc. Le bond de 36,7 points sur les tâches longues en conditions réelles suggère surtout que la faiblesse chronique des VLA sur l'horizon long peut être atténuée en délégant mémoire et récupération d'erreur à la couche agent, plutôt qu'en la faisant porter entièrement par un modèle d'action monolithique.

Ces résultats restent ceux d'un article de recherche récent, validé en simulation et sur une seule plateforme robotique réelle, sans annonce de déploiement commercial ni de partenariat industriel. Astribot, dont le bras bi-bras S1 sert de banc d'essai réel, est une entreprise chinoise de manipulation robotique ; RoboTwin 2.0 et RMBench comptent parmi les bancs d'essai standards du secteur pour comparer des politiques de manipulation en simulation. L'article ne fournit ni échéancier de déploiement ni partenaire industriel identifié ; il se positionne comme une contribution méthodologique destinée à la prochaine génération de systèmes agent-robot, dans un secteur où l'exécution fiable de tâches longues sans supervision humaine reste l'un des principaux verrous avant une adoption industrielle à grande échelle.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Tau-zéro WM : un modèle du monde vidéo-action unifié pour la manipulation robotique

Des chercheurs ont déposé le 1er juin 2026 sur arXiv (réf. 2606.01027) τ₀-WM (tau-zéro World Model), une architecture unifiée vidéo-action pour la manipulation robotique. Le modèle repose sur un backbone de diffusion vidéo partagé qui intègre simultanément apprentissage de politique, prédiction vidéo et évaluation d'actions au sein d'un même cadre prédictif. Il expose deux interfaces complémentaires : un modèle d'action vidéo qui prédit conjointement des représentations visuelles latentes futures et des séquences d'actions continues à partir d'observations multi-caméras, d'instructions en langage naturel et de l'état courant du robot ; et un simulateur vidéo conditionné sur l'action, capable de dérouler des séquences candidates en projections multi-vues tout en attribuant des scores denses de progression de tâche. L'entraînement porte sur environ 27 300 heures de données combinant téléopération réelle, interactions de style UMI (Universal Manipulation Interface, protocole de collecte de données en bimanuel développé par Stanford), vidéos égocentrées humaines, et trajectoires de succès comme d'échecs. L'intérêt principal réside dans la convergence entre politique et modèle de monde au sein d'une architecture commune. Les VLA (Vision-Language-Action models) actuels génèrent des actions sans anticiper leurs conséquences, laissant la gestion des erreurs à des modules séparés. τ₀-WM introduit un mécanisme de rectification à l'inférence : le simulateur évalue chaque séquence candidate via un score dense de progression, et les candidats jugés insuffisants sont corrigés par re-débruitage. Ce test-time scaling structuré pourrait réduire les interventions humaines sur des tâches longue durée, un enjeu clé pour les intégrateurs industriels qui peinent encore à déployer des robots autonomes sur des séquences de plus de quelques étapes. Sur les benchmarks de manipulation fine et longue séquence, les auteurs déclarent surpasser les baselines comparables, sans préciser les conditions expérimentales ni les contraintes matérielles testées. Ce travail s'inscrit dans une course engagée depuis fin 2024 entre Physical Intelligence (pi-0), NVIDIA (GR00T N2) et Figure (Helix) pour des architectures VLA à grande échelle, mais rares sont celles qui intègrent simulation interne et évaluation d'action dans un seul modèle plutôt que dans un pipeline découplé. L'usage de données UMI signale une stratégie d'agrégation multi-source qui dépasse les corpus propriétaires et pourrait favoriser la généralisation à de nouveaux environnements. Le papier reste pour l'instant un preprint non soumis à revue par les pairs : les performances annoncées restent à valider sur robot physique en conditions réelles, et aucune date de déploiement ou partenariat industriel n'est mentionné.

IA physiqueOpinion

1 source

2NVIDIA Developer Blog

Au-delà des VLA : comment les modèles du monde pour l'action transforment la manipulation robotique

Un courant de recherche en robotique met en avant les « World Action Models » (WAM) comme prolongement des modèles Vision-Language-Action (VLA) utilisés pour la manipulation. Le problème central est la généralisation : une politique entraînée par démonstrations réussit dans la scène d'apprentissage mais échoue dès que la forme des objets, leur position ou l'éclairage changent. Généraliser exige que le modèle comprenne la physique sous-jacente de la tâche plutôt que d'imiter les démonstrations, une capacité qui proviendrait du backbone, l'architecture de base du modèle d'action. Cette reformulation compte pour les intégrateurs et décideurs B2B car elle interroge l'approche dominante depuis deux ans, fondée sur le clonage de comportement à partir de larges jeux de démonstrations. Si la généralisation réelle suppose une compréhension physique plutôt qu'une simple imitation, les architectures purement VLA risquent de buter sur le même écart entre démonstration et déploiement réel déjà observé sur le terrain. Pour un secteur qui vise à industrialiser la manipulation au-delà de scénarios scriptés, cette piste remet en cause l'hypothèse selon laquelle accumuler données et paramètres suffit à résoudre le passage de la simulation au réel. Les VLA se sont imposés ces dernières années comme paradigme dominant pour piloter bras robotisés et humanoïdes, avec des modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI. Les World Action Models s'inscrivent en complément ou en alternative, en cherchant à doter les politiques d'un modèle du monde capable d'anticiper les conséquences physiques d'une action avant son exécution. Le contenu disponible ne mentionne ni déploiement, ni pilote industriel, ni calendrier précis, ce qui situe pour l'instant cette approche du côté de la recherche plutôt que du produit livré.

IA physiqueOpinion

1 source

3arXiv cs.RO

World Action Agent : exploiter les modèles vision-langage pour la manipulation robotique via répétition d'actions simulées

World Action Agent (WAA) est un système multi-agents qui fait piloter des robots manipulateurs par des modèles vision-langage dans un espace de travail visuel, plutôt que via des contraintes déduites ou du code généré. Le système combine des vues de contact choisies automatiquement autour du point d'interaction, une « répétition d'action » qui rend chaque geste modifiable avant exécution, et une correction en vue qui élimine les décalages résiduels ; il apprend aussi des compétences via des vidéos d'experts et des démonstrations humaines validées. Sur le benchmark LIBERO-Pro, avec des compétences apprises uniquement sur LIBERO-90, WAA atteint 75,6 % de réussite moyenne, devançant les VLA de bout en bout et les agents « code-as-policy » ; le fine-tuning de Qwen3.5-9B sur ses traces d'interaction porte sa réussite hors domaine de 1,7 % à 43,3 %. Cette approche cible un angle mort du secteur : les VLM sont utilisés indirectement, pour déduire des contraintes ou écrire du code, sans agir dans une représentation modifiable de la scène. En rendant chaque geste corrigeable avant exécution, WAA répond à l'écart persistant entre démonstrations impressionnantes et fiabilité réelle en manipulation, un enjeu central pour les intégrateurs hésitant à déployer des VLA en production. Le résultat le plus parlant pour les décideurs B2B reste la distillation : entraîner un modèle plus petit sur les traces du système fait bondir sa réussite hors domaine de 1,7 % à 43,3 %, ouvrant une voie économique vers des politiques robotiques déployables à grande échelle sans VLM massif en boucle d'inférence. Le travail est publié comme prépublication arXiv non encore relue par les pairs, évalué uniquement en simulation sur les bancs d'essai LIBERO-Pro, LIBERO-90 et robosuite, sans déploiement sur robot physique ni site industriel mentionné. Aucune entreprise ni plateforme robotique n'est citée dans l'étude, WAA se positionnant comme une alternative architecturale aux VLA entraînés de bout en bout et aux approches « code-as-policy » qui dominent la recherche récente sur le pilotage de robots par modèles de fondation. Les auteurs ne précisent aucun calendrier de transfert vers du matériel réel, la validation sur capteurs bruités et environnements non contrôlés restant l'étape déterminante avant tout déploiement industriel.

IA physiqueActu

1 source

4arXiv cs.RO

ForeTac-VLA : un modèle vision-langage-action tactile basé sur la prévision pour la manipulation robotique en contact riche

Publié en septembre 2026 sur arXiv sous la référence 2609.20980, ForeTac-VLA est un modèle vision-langage-action (VLA) qui ajoute une couche tactile prédictive pour la manipulation robotique en environnement riche en contacts physiques. Le système encode les observations tactiles récentes en représentations temporelles, les fusionne avec les caractéristiques vision-langage par attention croisée bidirectionnelle, puis un module de prévision fondé sur un transformeur anticipe l'état tactile sur plusieurs pas de temps futurs avant d'injecter ces prédictions dans le backbone VLA qui génère l'action. Un curriculum passant progressivement des données tactiles réelles aux données prédites stabilise l'entraînement lorsque les premières prévisions sont peu fiables. Sur quatre tâches de manipulation réelles à fort contact physique, ForeTac-VLA atteint un taux de réussite moyen de 95%, avec un gain de 36,25 points de pourcentage sur un VLA simplement affiné et de plus de 22 points sur les meilleures méthodes tactiles-VLA existantes, tout en maintenant ses performances en faible luminosité et en environnement visuellement encombré. Ce travail cible une faiblesse connue des modèles VLA, très dépendants de la vision, alors que des états physiques critiques comme le glissement d'un objet ou l'alignement lors d'une insertion ne sont pas observables visuellement. Les approches tactiles existantes se contentaient de réagir au contact déjà survenu; ForeTac-VLA propose de l'anticiper, ce qui change la nature du signal exploité par le modèle d'action. Pour les intégrateurs industriels, l'intérêt pratique tient à la robustesse démontrée en conditions dégradées, faible éclairage ou encombrement visuel, des situations fréquentes en usine ou en entrepôt où la vision seule échoue souvent. Si ces écarts se confirment au-delà des quatre tâches testées, cela conforterait l'idée qu'une fusion tactile prédictive, plutôt que purement réactive, est une piste sérieuse pour fiabiliser la manipulation en contact riche, un point faible récurrent des démonstrations VLA actuelles. ForeTac-VLA s'inscrit dans la lignée des modèles VLA génériques qui unifient perception, langage et contrôle moteur, et dans la sous-famille plus récente des VLA tactiles qui ajoutent un capteur de contact au pipeline vision-langage. Il se positionne explicitement contre ces baselines tactiles-VLA de l'état de l'art, qu'il dépasse de plus de 22 points, ainsi que contre un VLA classique simplement affiné sur les mêmes tâches. La publication reste un preprint arXiv, sans nom d'entreprise ni calendrier de déploiement industriel associé: il s'agit d'un résultat de recherche évalué sur quatre tâches choisies par les auteurs et illustré par des vidéos sélectionnées sur le site du projet, pas d'un produit commercialisé. Les suites attendues sont l'élargissement à davantage de tâches et de plateformes robotiques, ainsi qu'une évaluation indépendante confirmant que l'écart de performance tient face à des scénarios plus variés que le banc d'essai initial.

IA physiqueOpinion

1 source