RecherchearXiv cs.RO 13 juillet 2026

Manipulation Tactile et Visuelle Centrée sur le Contact pour la Manipulation du Bras Complet

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs du laboratoire EMPRISE de l'université Cornell présentent TACTIC (Tactile and Vision Conditioned Contact-Centric Control), un contrôleur pour la manipulation "bras entier", où le robot touche l'environnement avec plusieurs segments de son bras et non plus seulement sa pince. Décrit dans un preprint arXiv (2607.09218), le système combine images RGB-D, capteurs tactiles distribués et une carte de proximité 2D compacte pour prédire comment les contacts se forment, glissent ou se rompent au fil du mouvement. Un modèle de dynamique appris est couplé aux jacobiennes de contact pour simuler à l'avance forces d'interaction et configurations futures, et alimente un planificateur prédictif (MPC) à échantillonnage dont les trajectoires candidates sont orientées vers des directions qui modulent les forces plutôt que de les subir. En simulation, TACTIC dépasse les méthodes de référence à base de modèle et les approches purement apprises. Sur un bras réel équipé de peau tactile, l'équipe démontre trois tâches multi-contacts : retourner et repositionner un mannequin, et atteindre un objectif dans un labyrinthe 3D dynamique.

La manipulation bras entier est un angle mort des pipelines d'apprentissage actuels, taillés pour un contact unique au niveau de la pince. Dès que plusieurs segments touchent l'environnement simultanément, mouvement et forces de contact deviennent étroitement couplés, l'état de contact reste partiellement caché sous occlusion, et les politiques purement apprises se désynchronisent physiquement hors distribution, faute de données sur les configurations multi-contacts. En hybridant apprentissage et modèle physique explicite, TACTIC illustre une tendance de fond en robotique de manipulation : combiner du model-based pour la garantie physique et de l'apprenant pour la perception, plutôt que tout confier à un modèle de bout en bout type VLA. Pour les intégrateurs visant des bras opérant en espace encombré (tri, logistique, désassemblage), c'est un manque réel comblé, la plupart des démonstrateurs actuels évitant soigneusement tout contact hors pince.

Le travail émane du laboratoire EMPRISE de Cornell, spécialisé en manipulation riche en contact et perception tactile, et s'inscrit dans une littérature plus large sur le contrôle prédictif informé par le contact, aux côtés de recherches comparables au MIT ou à CMU. Contrairement aux annonces commerciales de robots humanoïdes comme Figure, Optimus ou les modèles VLA de Physical Intelligence et NVIDIA, il s'agit ici d'un résultat académique validé en simulation puis sur un unique bras de laboratoire, pas d'un produit commercialisé. Aucun acteur français ou européen n'est associé à cette publication. Les auteurs mettent en ligne une page projet (emprise.cs.cornell.edu/tactic) sans calendrier annoncé de transfert vers des plateformes commerciales.

Dans nos dossiers

Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

ZeroTouch : estimation visuelle du contact supervisée par le tactile pour la manipulation riche en contacts

Des chercheurs publient ZeroTouch, un système de préhension robotique qui prédit la déformation de contact, le torseur d'effort à six axes et une cible de compression optimale à partir de la seule vision embarquée au poignet, de l'état de la pince et de la direction de la gravité locale, sans capteur tactile physique au moment de l'exécution. Décrit dans un article déposé sur arXiv (2609.21726v1), le modèle est entraîné avec des mesures tactiles réelles comme supervision privilégiée, puis s'en passe totalement en déploiement. Sur l'ensemble de validation complet, l'erreur moyenne de force normale chute de 2,017 N pour une base de référence n'utilisant que l'état du système à 0,531 N avec l'architecture complète. En évaluation physique, avec vingt essais par condition, ZeroTouch atteint 95% de réussite sur un objet inédit, 80% sur une combinaison objet connu et prise inédite, et 90% en cas de changement de contenu ou de charge. Sous le même protocole, deux modèles génération vision-langage-action de référence, OpenVLA et SmolVLA, plafonnent respectivement à 25%, 40% et 55%, puis 10%, 25% et 35%. L'écart de performance, jusqu'à quatre fois supérieur à OpenVLA sur certaines conditions, pointe une limite concrète des politiques VLA généralistes actuelles: la régulation fine de la force de préhension et de la compression reste un point faible, alors qu'elle conditionne la manipulation d'objets fragiles ou déformables en logistique et en industrie. L'intérêt de ZeroTouch tient surtout à son architecture: transférer l'information tactile en phase d'entraînement seulement supprime la dépendance à un matériel dédié coûteux et fragile au déploiement, ce qui simplifie l'intégration sur des bras ou des mains déjà équipés d'une simple caméra poignet. Ces résultats restent toutefois issus d'un cadre de laboratoire, avec seulement vingt essais par condition et sans validation industrielle annoncée. Le problème de la régulation de force sans capteur tactile dédié touche l'ensemble des approches VLA récentes, de Pi-0 à GR00T N2 en passant par Helix, qui s'appuient historiquement sur des capteurs tactiles embarqués type GelSight pour ce type de retour. ZeroTouch s'inscrit dans une tendance plus large consistant à utiliser le tactile comme professeur à l'entraînement plutôt que comme dépendance matérielle permanente. L'article ne précise ni laboratoire ni feuille de route produit, et reste à ce stade une contribution de recherche publiée sans revue par les pairs.

RecherchePaper

1 source

2arXiv cs.RO

VT-WAM : modèle du monde et action visuo-tactile pour la manipulation à contacts riches

Des chercheurs présentent VT-WAM, un modèle de manipulation robotique combinant vision et toucher, décrit dans un article déposé sur arXiv (2607.02503v1) et accompagné d'un site dédié (vt-wam.github.io). Le système, un "Visual-Tactile World Action Model", apprend simultanément trois choses dans un même cadre de flow matching : prédire les images visuelles futures, prédire la déformation tactile future, et prédire l'action à exécuter. Deux mécanismes techniques soutiennent cette approche : une attention "Asymmetric Mixture-of-Transformers" (MoT) qui relie une première image de référence à la dynamique tactile dans le temps, et un module nommé AVTAG (Action-Visual-Tactile Attention Guidance) qui force le modèle à s'appuyer davantage sur le signal tactile pendant les phases de contact. Sur six tâches de manipulation en conditions réelles impliquant un contact physique important, VT-WAM atteint un taux de réussite moyen de 71,67%, contre des scores inférieurs de 26,67 points pour Fast-WAM et de 35,84 points pour OmniVTLA, deux modèles de référence utilisés en comparaison. L'enjeu dépasse la simple performance chiffrée : les politiques visuo-tactiles existantes se contentent généralement d'injecter le signal tactile brut dans la prédiction d'action, sans modéliser comment cette déformation évolue dans le temps. Or c'est précisément sur les tâches à fort contact (insertion, préhension d'objets déformables, gestion du glissement) que les modèles purement visuels ou de type VLA (vision-language-action) échouent le plus souvent, malgré des démonstrations impressionnantes en environnement contrôlé. Pour les intégrateurs industriels qui cherchent à automatiser des opérations d'assemblage fin, ce travail illustre une piste concrète pour combler l'écart entre démonstration et fiabilité réelle. Le papier s'inscrit dans la lignée des "world models" appliqués à la robotique, dont Fast-WAM constitue un prédécesseur direct servant de base de comparaison, aux côtés de familles de modèles VLA comme OmniVTLA. Il s'agit toutefois d'une publication académique, sans acteur industriel identifié ni date de déploiement annoncée : les résultats restent circonscrits à six tâches de laboratoire, et les auteurs eux-mêmes soulignent via leurs ablations que la modélisation de la dynamique tactile reste un problème ouvert plutôt qu'une solution définitivement close.

RecherchePaper

1 source

3arXiv cs.RO

VISTA : attention spatiale de contact inférée visuellement pour la manipulation à contacts riches

Un article arXiv publié fin août 2026 (2608.25872) présente VISTA-Policy, une méthode d'apprentissage par imitation pour la manipulation robotique en contact avec des objets. Plutôt que d'ajouter des capteurs tactiles ou de force, coûteux à calibrer et déployer, l'approche utilise le Visual Deformation Field (VDF), une représentation 3D des déformations d'un gripper compliant captée par caméra, comme signal de contact. Le système combine un module de décodage du VDF en temps réel, un mécanisme de débruitage isolant les vrais signaux de contact, et un réseau de politique pilotant des corrections incrémentales du gripper en boucle fermée. Il a été testé sur trois tâches, la préhension d'objets d'échelles variables, le dévissage de bouchons et l'écriture calligraphique, face à la référence vision pure 3D Diffusion Policy et à une référence tactile. L'enjeu dépasse la démonstration technique : en manipulation fine, la seule caméra peine à distinguer des états de contact subtils, notamment sous occlusion, tandis que les capteurs tactiles dédiés ajoutent du matériel, de la calibration et des coûts de déploiement. En montrant qu'un signal visuel dérivé de la déformation du gripper égale ou dépasse un capteur tactile physique, l'étude ouvre une voie moins coûteuse vers une manipulation généraliste en environnement non structuré. Les auteurs rapportent une généralisation à des objets d'échelles inédites et une robustesse à des perturbations dynamiques, deux points faibles fréquents des politiques vision seule. Pour des intégrateurs évaluant des piles VLA pour la préhension fine, cela suggère qu'un retour de contact riche est possible sans multiplier les capteurs embarqués. Le travail s'inscrit dans la tendance de l'apprentissage par imitation centré vision, où des politiques par diffusion comme 3D Diffusion Policy dominent mais restent limitées par l'ambiguïté des retours visuels purs ; la comparaison directe avec une référence tactile positionne VISTA-Policy comme alternative, plutôt que complément, aux capteurs de force dédiés. À ce stade, il s'agit d'une publication de recherche sur arXiv, pas d'un produit commercialisé : les résultats reposent sur des évaluations de laboratoire sur trois tâches, avec vidéos et matériel supplémentaire en ligne. Aucun calendrier de transfert industriel ni partenariat n'est communiqué.

RecherchePaper

1 source

4arXiv cs.RO

OmniVTA : modélisation du monde visuo-tactile pour la manipulation robotique en contact riche

Une équipe de recherche présente sur arXiv (arXiv:2603.19201v3) OmniVTA, un framework de manipulation robotique visuo-tactile adosse a OmniViTac, un jeu de données de plus de 21 000 trajectoires couvrant 86 taches et plus de 100 objets repartis en six catégories d'interaction physique comme l'essuyage ou l'assemblage. Le système combine un encodeur tactile auto-supervise, un modèle du monde visuo-tactile a deux flux prédisant l'évolution du contact a court terme, une politique de fusion sensible au contact générant les actions, et un contrôleur réflexe a 60 Hz corrigeant en boucle fermée les écarts entre signal tactile prédit et observe. Teste sur robot réel dans les six catégories, OmniVTA dépasse les méthodes existantes et généralisé a des objets et configurations non vus ; les auteurs annoncent la publication future des données, modèles et code sur mrsecant.github.io/OmniVTA. Le résultat cible un angle mort connu de la manipulation industrielle : l'assemblage, le polissage ou le nettoyage exigent de percevoir des forces de contact, des changements de friction et des transitions d'état que la vision seule ne capture pas fiablement. La plupart des systèmes actuels traitent le tactile comme une observation passive, alors qu'OmniVTA en fait une variable prédictive exploitée en boucle fermée a haute fréquence, ce qui améliore la robustesse face a des objets inconnus. Pour les intégrateurs visant des bras ou des mains capables de gestes fins comme l'insertion de connecteurs, cette généralisation hors distribution répond a un point faible récurrent des démonstrations de manipulation, souvent performantes seulement sur les objets vus a l'entrainement. Ce travail s'inscrit dans un intérêt croissant pour la manipulation visuo-tactile, jusque-la freine par des jeux de données restreints en échelle et en diversité de taches, limite que le dataset OmniViTac vise a combler. Il s'agit d'une publication académique, pas d'un produit commercial ni d'un déploiement industriel annonce : le papier, une version révisée sur arXiv, ne cite ni date de disponibilité ni partenaire intégrateur, et l'ouverture promise du code et des données reste pour l'instant une intention. L'article ne précise pas le matériel exact (bras, main, capteurs tactiles) utilise pour les expériences, ce qui limite l'évaluation de sa portée industrielle immédiate.

RecherchePaper

1 source