Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
IA physiquearXiv cs.RO 

HarnessWAM : concilier prédiction et délibération dans les modèles vision-action du monde

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

HarnessWAM, un framework agentique décrit dans un preprint publié sur arXiv (identifiant 2608.09516), vise à combler ce que ses auteurs nomment le « prédiction-délibération gap » des World Action Models (WAM), ces modèles qui apprennent conjointement la dynamique de l'environnement et la génération d'actions robotiques. Le système ajoute un Task Manager basé sur un modèle vision-langage, chargé de maintenir une croyance de scène ancrée dans l'observation et un graphe de tâches, ainsi qu'une projection des plans en séquences de compétences atomiques compatibles avec les capacités du WAM sous-jacent. Une boucle de rétroaction à deux échelles temporelles associe un estimateur de progression haute fréquence à une délibération aux jalons clés, capable de réviser le plan ou de déclencher une récupération locale après l'échec d'une sous-tâche. Sur le benchmark RoboMemArena, HarnessWAM atteint 59,6% de réussite sur les tâches complètes, 69,9% sur les sous-tâches, et 23,7% sur RoboCerebra Ideal, des résultats présentés comme l'état de l'art.

Ce travail cible un point de friction connu du secteur : les WAM actuels, entraînés à prédire et agir sur un horizon court, échouent sur des tâches longues exigeant planification globale, maintien d'état entre étapes et récupération après échec, soit le profil typique attendu d'un robot humanoïde en usine ou en entrepôt. En montrant qu'une couche de gestion d'état externe au modèle, couplée à une décision en boucle fermée, prolonge les capacités de contrôle local des WAM vers une exécution vérifiable et récupérable, l'étude suggère que le goulot d'étranglement des architectures VLA/WAM tient autant à l'orchestration cognitive qu'à la génération d'actions elle-même. Les gains restent toutefois mesurés sur des bancs d'essai spécifiques, sans validation annoncée sur robot physique en environnement industriel réel.

HarnessWAM s'inscrit dans la lignée des modèles fondation pour la robotique de type VLA ou WAM, à l'image de GR00T N2, Pi-0 ou Helix, qui génèrent des actions à partir d'observations visuelles et de consignes en langage naturel mais restent structurellement limités à des horizons de prédiction courts. Le framework se présente comme une couche agentique complémentaire plutôt qu'un nouveau backbone, en principe transposable à d'autres WAM sous-jacents. La publication ne mentionne ni partenariat industriel, ni pilote de déploiement, ni acteur européen : il s'agit à ce stade d'une contribution académique évaluée en benchmark, dont la suite logique serait une validation sur plateformes robotiques réelles.

Dans nos dossiers

NVIDIA GR00TarXiv cs.RO

À lire aussi

UniTacVLA : compréhension et prédiction tactiles unifiées dans les modèles vision-langage-action
1arXiv cs.RO 

UniTacVLA : compréhension et prédiction tactiles unifiées dans les modèles vision-langage-action

UniTacVLA, un modèle vision-langage-action (VLA) tactile, vise à résoudre un point faible connu des VLA classiques : la manipulation dextre en contact riche, comme l'insertion, l'essuyage, l'assemblage ou l'ajustement de précision. Contrairement aux approches vision-tactile-langage-action (VTLA) existantes qui traitent le signal tactile comme une simple entrée auxiliaire passive, l'équipe de recherche propose un espace latent tactile unifié qui modélise conjointement l'état tactile courant et les changements de contact futurs, via un raisonnement en chaîne de pensée tactile et une prédiction tactile progressive (coarse-to-fine). Ce prior tactile alimente ensuite un contrôleur mixte tactile-action combinant retour tactile en temps réel et retour prédit, pour corriger à haute fréquence des chunks d'action calculés à basse fréquence. Les expériences ont été menées en conditions réelles sur quatre catégories de tâches à fort contact (ajustement, insertion, essuyage, assemblage), testées à la fois en environnement propre et sous perturbations externes. L'enjeu dépasse la simple amélioration de benchmark. La manipulation en contact riche reste l'un des goulots d'étranglement majeurs empêchant les bras robotiques et humanoïdes de passer de la démonstration en laboratoire au déploiement industriel réel, notamment pour des tâches d'assemblage fin où la seule vision ne suffit pas à garantir la précision ou la robustesse face aux perturbations. En traitant le tactile comme un signal dynamique et prédictif plutôt que comme un simple capteur passif, UniTacVLA s'attaque directement à l'écart persistant entre les VLA génériques, entraînés majoritairement sur des données visuelles, et les exigences physiques réelles de l'assemblage industriel ou de la manipulation fine en conditions non contrôlées. Les auteurs revendiquent des gains sur le taux de succès, la précision de manipulation et la robustesse au contact par rapport aux méthodes existantes, ce qui, si confirmé à plus grande échelle, renforcerait l'argument selon lequel l'intégration tactile profonde est nécessaire pour les tâches dextres, et pas seulement un ajout marginal. Ce travail s'inscrit dans une vague plus large de recherche visant à doter les modèles VLA de capacités multimodales au-delà de la vision et du langage, à mesure que des acteurs comme Physical Intelligence (Pi-0) ou NVIDIA (GR00T) poussent leurs propres modèles génération vers la production industrielle. Les architectures VTLA précédentes, limitées par un traitement passif du tactile, constituent la ligne de base que ce papier cherche à dépasser. La publication, un prépublication arXiv, ne mentionne pas de partenariat industriel ni de calendrier de déploiement commercial ; les prochaines étapes attendues porteraient sur l'extension à davantage de types de capteurs tactiles et de tâches, ainsi que sur une validation à plus grande échelle en dehors du cadre contrôlé des expériences décrites.

IA physiqueActu
1 source
MaskWAM : unification du masquage guidé et de la prédiction pour les modèles monde-action
2arXiv cs.RO 

MaskWAM : unification du masquage guidé et de la prédiction pour les modèles monde-action

Une équipe de chercheurs a soumis sur arXiv (référence 2606.13515) un modèle baptisé MaskWAM, visant à lever deux verrous structurels des World Action Models (WAMs) pour le contrôle robotique par prédiction vidéo. Les WAMs constituent une approche active : au lieu d'apprendre directement une politique motrice, le modèle prédit des frames vidéo futures conditionnées par les actions du robot et extrait la politique de cette représentation. Le problème identifié est double. Les entrées textuelles génèrent une ambiguïté référentielle dans les scènes encombrées : si deux objets similaires cohabitent dans le champ de la caméra, le texte ne suffit pas à désambiguïser la cible. Par ailleurs, les prédictions RGB brutes manquent d'ancrage sémantique et restent perturbées par des arrière-plans sans lien avec la tâche. MaskWAM intègre des masques de segmentation à la fois comme entrées explicites (premier frame annoté avec la cible) et comme sorties prédites, au sein d'une architecture unifiée Mixture of Transformers (MoT). L'apport central est l'introduction d'une supervision sémantique centrée sur l'objet : en forçant le modèle à prédire les masques futurs en parallèle des frames RGB, les auteurs réduisent l'influence du bruit visuel de fond sur la politique apprise. Évalué sur les benchmarks LIBERO et RoboTwin, ainsi que sur des tâches réelles non précisées en détail, MaskWAM surpasse significativement les baselines existantes en conditions de langage clair comme ambigu. Pour les équipes R&D en manipulation robotique, l'enjeu concret est la robustesse des politiques face aux variations de décor et aux instructions imprécises, deux points de friction récurrents dans le transfert du labo vers la ligne de production. Ces résultats restent toutefois ceux d'une prépublication académique sur benchmarks standardisés : aucun déploiement industriel n'est mentionné, et les conditions exactes des expérimentations réelles ne sont pas détaillées dans le résumé disponible. MaskWAM s'inscrit dans la dynamique des Visual Language Action models et des WAMs apparus depuis 2023, notamment Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et OpenVLA. Sa spécificité est l'exploitation systématique des masques de segmentation comme signal de supervision, là où la plupart des approches concurrentes restent ancrées sur du texte libre ou des images de référence non structurées. Les prochaines étapes prévisibles pour ce type de travaux sont l'évaluation sur des manipulations multi-objets en environnement non contrôlé et l'intégration dans des fondations robotiques plus larges. Aucun partenariat industriel ni calendrier de transfert applicatif ne sont mentionnés à ce stade.

IA physiqueOpinion
1 source
Vid2WAM : distiller les a priori de diffusion vidéo en modèles d'action du monde
3arXiv cs.RO 

Vid2WAM : distiller les a priori de diffusion vidéo en modèles d'action du monde

Vid2WAM est un nouveau framework de distillation hors ligne pour l'apprentissage de politiques robotiques, décrit dans un preprint publie sur arXiv (arXiv:2608.08558v1). La méthode s'attaque a une limite connue des World Action Models (WAM), ces modèles qui prédisent conjointement la dynamique visuelle future et les actions d'un robot : leur dépendance a des démonstrations expertes couteuses a collecter, qui freine leur passage a l'échelle. Vid2WAM transféré les priors de diffusion vidéo d'un grand modèle fondation vidéo vers un WAM élevé compact, via deux canaux complémentaires. Le premier utilise des projections vidéo futures conditionnées par la tache pour superviser directement la branche de prédiction du modèle élevé. Le second passe par un modèle de dynamique inverse qui reconstruit des pseudo-actions spécifiques a l'embodiment du robot, utilisées pour l'apprentissage de la politique d'action. Une technique nommée "source-aware residual action adaptation" apprend des corrections propres a chaque source de supervision, synthétique ou réelle, autour d'un socle d'action partage, ce qui limite les interférences liées au bruit des pseudo-actions. A l'inférence, le modèle de diffusion vidéo enseignant et le modèle de dynamique inverse sont abandonnes : seul le WAM compact reste déployé, pour un traitement a faible latence. Les auteurs rapportent des expériences en simulation et sur robot réel. Cette approche cible directement le goulot d'étranglement central des modèles VLA (vision-language-action) et des WAM : la rareté des données de démonstration expertes spécifiques a la tache cible. En s'appuyant sur des priors appris a partir de vidéo générique plutôt que sur des trajectoires robot annotées, Vid2WAM cherche a découpler la généralisation a de nouvelles taches du volume de téléopération collecte, un enjeu central pour tout intégrateur voulant déployer un bras ou un humanoïde sur une nouvelle tache sans campagne de collecte couteuse. Jeter le modèle enseignant et le modèle de dynamique inverse a l'inférence est notable : cela vise une politique légère et rapide, condition nécessaire pour du contrôle temps réel, la ou de nombreuses approches VLA a grande échelle restent limitées par la latence. Ce travail s'inscrit dans la lignée des World Action Models et politiques VLA qui, comme GR00T N2 de NVIDIA, Pi-0 de Physical Intelligence ou Helix de Figure, exploitent des données vidéo ou multimodales a grande échelle pour réduire la dépendance a la téléopération. Contrairement a ces systèmes déjà testes chez des clients, Vid2WAM reste au stade de preprint de recherche : aucune institution n'est citée dans le résume, aucun partenariat industriel ni déploiement pilote n'est mentionne, et les chiffres de performance restent a vérifier via une publication complète ou une revue par les pairs. La suite logique serait une évaluation sur des benchmarks standardises et un passage a des modèles fondation vidéo plus grands pour tester les limites de la méthode.

IA physiqueOpinion
1 source
Modèle vision-langage-action pour la modélisation du monde, le raisonnement et la synthèse d'actions
4arXiv cs.RO 

Modèle vision-langage-action pour la modélisation du monde, le raisonnement et la synthèse d'actions

Des chercheurs présentent WLA (World-Language-Action), une nouvelle classe de modèles de fondation incarnés pour la robotique, dans un preprint arXiv publié début juin 2026. Le modèle prototype WLA-0, fort de 2 milliards de paramètres actifs, prend en entrée des instructions textuelles, des images et l'état du robot pour générer simultanément des sous-tâches textuelles, des images de sous-objectifs et des commandes motrices. Sur l'NVIDIA RTX 5090, le temps d'inférence est de 40 ms par cycle, ce qui reste dans les plages acceptables pour le contrôle temps réel. Les évaluations atteignent 92,94 % de taux de succès sur le benchmark RoboTwin2.0 Clean et 56,5 % sur RMBench, deux protocoles de référence pour les tâches multi-objets et longue portée. L'intérêt architectural réside dans la fusion de deux paradigmes jusqu'ici distincts : le world modeling, qui consiste à apprendre une représentation prédictive du monde à partir de vidéos égocentrées, et le language reasoning propre aux modèles VLA (Vision-Language-Action) tels que Pi-0 ou OpenVLA. WLA opte pour un backbone Transformer autorégressif plutôt que le Transformer de diffusion bidirectionnel utilisé dans les WAM (World-Action Models), ce qui permet de prédire l'état suivant en deux niveaux complémentaires : intention sémantique textuelle d'un côté, dynamiques physiques fines de l'autre. Un mécanisme de meta-queries rend l'influence du world modeling implicite à l'inférence, mais peut être activé pour du test-time scaling, technique qui améliore le contrôle en allouant davantage de calcul à l'exécution. La capacité annoncée d'apprendre de nouvelles tâches à partir de vidéos cross-embodiment sans annotations d'actions est notable, mais reste à valider sur des robots hétérogènes en dehors d'environnements simulés. WLA s'inscrit dans une course dense à l'unification des modèles robotiques. Face à Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, qui misent chacun sur des architectures diffusion ou VLA, WLA propose une troisième voie autoregressive combinant génération de sous-objectifs visuels et raisonnement linguistique. L'article reste un preprint non validé par les pairs, sans déploiement industriel annoncé. Les prochaines étapes naturelles seraient une évaluation sur des plateformes physiques variées et des benchmarks réels, les performances simulées étant connues pour surestimer les capacités en conditions d'exploitation. Aucun acteur européen n'est impliqué dans ces travaux.

IA physiqueOpinion
1 source