Aller au contenu principal
ViTaR : adaptation résiduelle visuo-tactile pour la manipulation par modèles fondation VLAIllustration générée par IA
RecherchearXiv cs.RO 

ViTaR : adaptation résiduelle visuo-tactile pour la manipulation par modèles fondation VLA

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe publie sur arXiv (2608.15816v1) ViTaR (Visuo-Tactile Residual Adaptation), qui comble un angle mort des modèles Vision-Language-Action (VLA) : entraînés sur de vastes a priori visuels, ils produisent la même action que le contact avec l'objet soit établi, perdu ou déstabilisé. Plutôt que de modifier l'intérieur du VLA, au risque d'un oubli catastrophique, ou de recourir à du renforcement en ligne près des conditions d'échec, ViTaR garde le modèle gelé et traite le tactile comme un modulateur d'exécution plutôt que comme une entrée génératrice d'action. Une première étape détermine si une correction résiduelle est localement justifiée à partir des résultats observés, une seconde la convertit en un gain continu calculé en temps réel. Sur le benchmark UniVTAC, sept tâches de manipulation à fort contact, ViTaR atteint 61,3% de réussite moyenne, soit 30,6 points de plus que le VLA gelé de base, devançant aussi des méthodes tactiles spécialisées ; des essais sur robot physique confirment le transfert au bruit et à la dynamique réels des capteurs.

Ce résultat cible un point critique pour l'industrialisation des VLA, de plus en plus déployés sur bras manipulateurs et humanoïdes : ces modèles excellent sur des tâches visuelles généralistes mais restent fragiles dès qu'il faut saisir, insérer ou assembler avec un contact fin, un scénario omniprésent en logistique et en assemblage industriel. En montrant qu'une correction résiduelle bornée, greffée sur un VLA figé, suffit à gagner plus de 30 points de réussite sans réentraîner le modèle de base, ViTaR ouvre une voie pour ajouter de la robustesse tactile aux piles VLA existantes sans dégrader leurs capacités généralistes. Les approches précédentes laissaient au contraire au tactile une influence non bornée sur l'action générée, au risque de contredire les a priori qui font la généralisabilité de ces modèles.

Le travail s'inscrit dans les efforts pour doter les modèles VLA de fondation, dans la lignée de familles comme Pi-0, GR00T ou Helix, d'une perception multimodale plus fine que la seule vision. Publié comme soumission arXiv nouvelle, ViTaR reste à ce stade une contribution de recherche validée sur un benchmark simulé et par des essais robot physique limités, sans annonce de déploiement industriel ni de partenariat commercial. Les auteurs ne donnent pas de calendrier pour une intégration dans des piles VLA commerciales existantes.

Dans nos dossiers

À lire aussi

DexTacWAM : un modèle visuo-tactile du monde et de l'action pour la manipulation dextérique
Illustration générée par IA
1arXiv cs.RO 

DexTacWAM : un modèle visuo-tactile du monde et de l'action pour la manipulation dextérique

Un article déposé sur arXiv en septembre 2026 (arXiv:2609.24976v1) présente DexTacWAM, un World-Action Model (WAM) visuo-tactile pour la manipulation dextre, qui encode indépendamment chaque bout de doigt et injecte l'information tactile, via un compresseur sensible au doigt et à sa pose, dans un modèle du monde fondé sur la diffusion vidéo. Testé sur six tâches de manipulation à fort contact sur une plateforme bimanuelle à 22 degrés de liberté, DexTacWAM obtient le meilleur score sur toutes, avec une moyenne de 70,6 points contre 38,0 pour le meilleur système de référence, sur une échelle non précisée par les auteurs. Une étude d'ablation montre que retirer la modélisation tactile du monde, tout en gardant les mêmes caractéristiques tactiles et le même module d'action, fait chuter la moyenne sur quatre tâches de 74,7 à 26,6 points. Avec un encodeur vidéo pré-entraîné gelé, quatre heures d'adaptation de l'encodeur tactile et une centaine de démonstrations par tâche suffisent pour une qualité de prédiction visuelle à moins de 0,5 dB du niveau purement visuel, un rappel de contact conservé à 89,4% après compression, un entraînement 2,26 fois plus rapide et une inférence 1,29 fois plus rapide. Ce résultat cible une limite connue des WAM actuels, généralement centrés sur la vision et donc incapables de modéliser directement la dynamique de contact, pourtant déterminante en manipulation fine. L'étude montre que le gain provient surtout du fait de traiter l'évolution du contact comme une composante de l'état du monde prédit, plutôt que d'un simple conditionnement des actions sur des données tactiles. Pour les intégrateurs et les équipes de recherche en robotique dextre, l'intérêt pratique tient à l'efficacité: étendre un grand modèle vidéo déjà entraîné au sens du toucher avec un budget de données et de calcul réduit, sans tout ré-entraîner. Le travail s'inscrit dans la lignée des World-Action Models, qui couplent modélisation vidéo prédictive et génération d'action pour anticiper les effets des mouvements d'un robot, jusqu'ici presque exclusivement visuels. Il s'agit à ce stade d'un article de recherche, sans identification des auteurs ni annonce de partenariat industriel, de plateforme commerciale ou de calendrier de déploiement. La suite logique, non détaillée dans l'article, consisterait à valider l'approche sur davantage de tâches et de plateformes, voire sur des mains dextres commerciales, avant toute intégration dans des systèmes de manipulation opérationnels.

RechercheActu
1 source
VT-WAM : modèle du monde et action visuo-tactile pour la manipulation à contacts riches
Illustration générée par IA
2arXiv cs.RO 

VT-WAM : modèle du monde et action visuo-tactile pour la manipulation à contacts riches

Des chercheurs présentent VT-WAM, un modèle de manipulation robotique combinant vision et toucher, décrit dans un article déposé sur arXiv (2607.02503v1) et accompagné d'un site dédié (vt-wam.github.io). Le système, un "Visual-Tactile World Action Model", apprend simultanément trois choses dans un même cadre de flow matching : prédire les images visuelles futures, prédire la déformation tactile future, et prédire l'action à exécuter. Deux mécanismes techniques soutiennent cette approche : une attention "Asymmetric Mixture-of-Transformers" (MoT) qui relie une première image de référence à la dynamique tactile dans le temps, et un module nommé AVTAG (Action-Visual-Tactile Attention Guidance) qui force le modèle à s'appuyer davantage sur le signal tactile pendant les phases de contact. Sur six tâches de manipulation en conditions réelles impliquant un contact physique important, VT-WAM atteint un taux de réussite moyen de 71,67%, contre des scores inférieurs de 26,67 points pour Fast-WAM et de 35,84 points pour OmniVTLA, deux modèles de référence utilisés en comparaison. L'enjeu dépasse la simple performance chiffrée : les politiques visuo-tactiles existantes se contentent généralement d'injecter le signal tactile brut dans la prédiction d'action, sans modéliser comment cette déformation évolue dans le temps. Or c'est précisément sur les tâches à fort contact (insertion, préhension d'objets déformables, gestion du glissement) que les modèles purement visuels ou de type VLA (vision-language-action) échouent le plus souvent, malgré des démonstrations impressionnantes en environnement contrôlé. Pour les intégrateurs industriels qui cherchent à automatiser des opérations d'assemblage fin, ce travail illustre une piste concrète pour combler l'écart entre démonstration et fiabilité réelle. Le papier s'inscrit dans la lignée des "world models" appliqués à la robotique, dont Fast-WAM constitue un prédécesseur direct servant de base de comparaison, aux côtés de familles de modèles VLA comme OmniVTLA. Il s'agit toutefois d'une publication académique, sans acteur industriel identifié ni date de déploiement annoncée : les résultats restent circonscrits à six tâches de laboratoire, et les auteurs eux-mêmes soulignent via leurs ablations que la modélisation de la dynamique tactile reste un problème ouvert plutôt qu'une solution définitivement close.

RecherchePaper
1 source
GRAFT : adaptation résiduelle sensible à la géométrie pour les modèles fondation de suivi
Illustration générée par IA
3arXiv cs.RO 

GRAFT : adaptation résiduelle sensible à la géométrie pour les modèles fondation de suivi

Des chercheurs proposent GRAFT, un cadre d'adaptation résiduelle sensible à la géométrie, destiné aux « behavior foundation models » (BFM) humanoïdes figés, publié sur arXiv (2610.36507). Les BFM sont des trackers de mouvement réutilisables: à partir d'une référence cinématique, ils produisent les commandes articulaires coordonnées du corps entier, pour le rejeu de mouvements, la téléopération ou le pilotage par VLA (modèles vision-langage-action). GRAFT laisse les paramètres du BFM et son interface de référence intacts. Un adaptateur léger n'ajoute que des corrections conditionnées par le terrain, limitées aux cibles d'exécution du bas du corps. Il est entraîné avec des récompenses de tâche et de géométrie du pied, et régularisé pour ne rien corriger sur sol plat. Il est distillé depuis des observations de terrain privilégiées (disponibles seulement en simulation) vers une perception par caméra de profondeur embarquée. Le cadre est instancié sur quatre trackers figés et évalué en simulation sur des escaliers, des trous et des plateformes. Une validation réelle a été menée sur un Unitree G1: le tracker SONIC adapté franchit le terrain avec la profondeur embarquée et des références non modifiées. Le résumé ne donne aucun chiffre de taux de réussite, de hauteur de marche ou de durée des essais. Le point notable est architectural. Les BFM sont entraînés surtout sur sol plat et ne savent pas adapter placement du pied, garde au sol en phase de balancier et timing des contacts au relief. Beaucoup d'approches réentraînent ou affinent le tracker avec la perception, ce qui coûte en données et en calcul. Elles couplent aussi le suivi ordinaire au canal de perception. En figeant le BFM, GRAFT ramène l'apprentissage du terrain à un problème d'adaptation de l'exécution. Pour les équipes qui s'appuient déjà sur un tracker généraliste, cela suggère un module de perception ajoutable sans refaire l'entraînement du modèle de base ni casser le comportement validé sur sol plat. La compatibilité avec quatre trackers différents pointe vers une couche réutilisable, mais seul le G1 a été testé en conditions réelles. Il faut lire ce résultat avec prudence: les preuves publiées portent sur des obstacles ponctuels (escaliers, trous, plateformes), pas sur des terrains non structurés ni sur des déploiements prolongés. Ce travail s'inscrit dans la montée en puissance des modèles de comportement de corps entier, dont SONIC fait partie, utilisés comme couche basse sous des politiques VLA et des systèmes de téléopération. Leur limite principale reste la locomotion hors terrain plat, que les approches de réentraînement conjoint avec perception tentent de lever au prix d'un fort coût d'entraînement. Le Unitree G1, plateforme humanoïde accessible, sert de banc d'essai courant pour la recherche académique. Reste à voir si l'approche tient sur des terrains plus variés, avec des références dynamiques plus exigeantes et sur d'autres robots. Il s'agit d'un préprint, sans annonce de produit, de pilote industriel ni de calendrier.

RecherchePaper
1 source
OmniTacTune : RL réel, agnostique, pour l'adaptation résiduelle tactile des politiques visuelles
Illustration générée par IA
4arXiv cs.RO 

OmniTacTune : RL réel, agnostique, pour l'adaptation résiduelle tactile des politiques visuelles

Des chercheurs présentent OmniTacTune, un pipeline d'apprentissage par renforcement en conditions réelles capable de s'adapter à n'importe quelle politique visuelle préentraînée, quelle que soit son architecture. Le système fonctionne en deux temps : il amorce d'abord un apprentissage sensible au toucher à partir de déploiements autonomes de la politique visuelle de base, puis entraîne une politique résiduelle tactile légère par interaction en ligne directement sur le robot. Testé sur quatre tâches de manipulation à contact riche en conditions réelles, OmniTacTune fait grimper le taux de réussite des politiques visuelles de base de 5-40% à 85-100%, en seulement 40 à 80 minutes d'entraînement supplémentaire. Ce résultat s'attaque à un problème connu des politiques visuelles apprises à partir de vidéos humaines, de téléopération ou de démonstrations robotiques : ces a priori moteurs généralisent bien pour les mouvements macroscopiques mais échouent souvent dès que la tâche exige un contrôle fin de la force et de la géométrie de contact, comme l'insertion de pièces ou la manipulation d'objets déformables. En ajoutant une correction résiduelle tactile plutôt qu'en réentraînant une politique multimodale complète, la méthode propose une voie peu coûteuse pour combler ce fossé, sans exiger de collecter de larges jeux de données tactiles, historiquement chers et peu transférables d'un capteur, d'un robot ou d'une tâche à l'autre. Pour les intégrateurs et les équipes de R&D en manipulation robotique, cela ouvre la possibilité d'améliorer des politiques déjà déployées sans repartir de zéro, un enjeu important alors que la manipulation à contact riche reste l'un des principaux points de friction entre démonstrations en laboratoire et déploiements industriels réels. L'approche s'inscrit dans la tendance des politiques vision-langage-action et de leurs limites en manipulation fine, sujet déjà soulevé autour de modèles comme Pi-0 ou GR00T N2, où l'écart entre démonstrations impressionnantes et robustesse réelle reste surveillé de près par le secteur. En se voulant agnostique vis-à-vis de la politique visuelle de base et de la représentation tactile employée, OmniTacTune vise la généralisation plutôt qu'une solution ad hoc liée à un capteur ou un robot précis, ce qui le distingue des approches tactiles propres à une seule plateforme. Les auteurs proposent une page projet avec démonstrations, sans préciser à ce stade de calendrier de portage vers des plateformes commerciales, laissant ouverte la question du délai avant qu'une telle méthode résiduelle ne soit reprise par des acteurs de la manipulation industrielle ou humanoïde.

RecherchePaper
1 source