RecherchearXiv cs.RO 5 novembre 2026

Tactus : un gant tactile et de suivi de pose pour collecter des données de dextérité naturelle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Tactus, un gant textile de collecte de données de manipulation, a été présenté dans une prépublication arXiv (v3). Il vise à enregistrer des démonstrations humaines naturelles avec force de contact calibrée et pose de la main. Sa structure tricotée en 3D est fine, avec 1,5 mm d'épaisseur au bout des doigts, pour limiter la gêne pendant la manipulation. Des capteurs tactiles capacitifs sont placés sur les zones de contact les plus utiles, choisies d'après des études empiriques. Le suivi de pose fusionne des centrales inertielles (IMU) pour rester précis quand la main est masquée par l'objet. Le gant inclut une calibration documentée pour la cohérence d'un gant à l'autre, plus une calibration par session pour corriger les différences entre utilisateurs. Les auteurs mesurent une force minimale détectable de 0,59 N à 95 % de confiance, soit 1,6 à 2,7 fois moins que deux gants tactiles commerciaux testés en comparaison. La cohérence entre participants atteint 0,87. L'erreur relative sur les points clés des bouts de doigts est de 11,0 mm pendant la manipulation, au moment où les occultations sont les plus fortes.

L'intérêt tient à un verrou connu de la manipulation dextre. Les politiques apprises, dont les modèles vision-langage-action (VLA), et les modèles du monde manquent de données où l'on voit la main et où l'on mesure aussi les forces. La vidéo seule ne dit pas avec quelle force l'humain serre, ni quand l'objet glisse. Les auteurs affirment qu'aucune plateforme portable existante ne combine force calibrée et suivi robuste aux occultations sans altérer le geste. Ils montrent que les signaux combinés permettent d'estimer les propriétés d'un objet, de détecter le glissement et d'enregistrer fidèlement l'interaction main-objet. Ces résultats restent ceux d'un laboratoire, sur des protocoles que les auteurs ont eux-mêmes définis. Il faut donc les lire avec prudence. Aucun résultat de politique robotique entraînée avec ces données n'est mentionné dans le résumé. Une erreur de 11 mm reste importante pour des tâches de précision.

Le travail s'inscrit dans la course à la donnée de manipulation, où les approches se partagent entre téléopération de robots, interfaces de préhension portées à la main, caméras seules et gants instrumentés. Les gants tactiles commerciaux existent déjà, mais jusqu'ici sans comparaison quantitative croisée. Les auteurs affirment que leur évaluation est la première du genre et proposent des protocoles standardisés pour la régression de force tactile et l'estimation de pose de la main. Si la communauté adopte ces protocoles, la comparaison entre capteurs gagnerait en rigueur. Le résumé ne donne ni prix, ni disponibilité commerciale, ni calendrier de diffusion. Tactus reste donc un résultat de recherche, sans produit livré ni déploiement industriel annoncé. La suite logique serait de démontrer qu'une politique entraînée sur ces données dépasse celles entraînées sur des démonstrations sans tactile.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

AutoDex : un système automatisé en conditions réelles pour collecter des données de préhension dextérique

Des chercheurs du laboratoire SNU VCLab (Séoul) présentent AutoDex, un système qui collecte des données de préhension dextre en conditions réelles sans opérateur humain en continu. À partir de candidats de prises générés en simulation, le robot planifie et exécute chaque prise, étiquette le résultat (succès ou échec), puis remet l'objet en position pour enchaîner les essais sur plusieurs poses stables. Le suivi d'objet multi-vues permet l'étiquetage malgré l'occultation entre la main et l'objet, tandis qu'une surveillance des collisions par couple résiduel et une remise en place guidée par la pose maintiennent la boucle active sans supervision. Les auteurs ont réuni plus de 3 500 essais sur 100 objets, avec deux mains robotiques, Allegro et Inspire, en enregistrant succès et échecs avec observations visuelles et états du robot synchronisés. Le code et les données sont publics. L'enjeu principal est le coût humain, goulot d'étranglement habituel de la donnée de manipulation réelle. Selon les auteurs, collecter 500 trajectoires demande environ 0,2 heure-homme avec AutoDex, contre 9,3 heures en téléopération, soit une réduction de plus d'un ordre de grandeur. Il s'agit toutefois d'une estimation des auteurs, et non d'une mesure indépendante. Le résultat le plus parlant touche l'écart simulation-réel: dans de nouvelles configurations de placement d'objets et d'obstacles, la récupération dans la bibliothèque de prises validées physiquement atteint 76 % de succès, contre 34 % pour des candidats filtrés uniquement en simulation. Cela confirme que les prises « plausibles » en simulation se transfèrent mal au matériel, et que la validation physique à grande échelle apporte un gain concret. Pour les équipes qui entraînent des politiques de préhension dextre, le fait de disposer aussi des échecs, rarement conservés dans les jeux de données téléopérés, constitue une ressource utile pour apprendre à prédire la réussite d'une prise. Ce travail s'inscrit dans la montée de la manipulation dextre, où la collecte par téléopération (gants, exosquelettes, VR) reste coûteuse et peu évolutive, alors que la simulation produit des prises en masse sans garantie matérielle. AutoDex propose une voie intermédiaire: la simulation génère, le robot vérifie. Il faut cependant rester prudent: il s'agit d'un article de recherche (préprint arXiv, v2), avec 100 objets et deux mains seulement, sans déploiement industriel ni comparaison directe avec des systèmes concurrents. La généralisation à des objets déformables, des scènes encombrées plus complexes ou d'autres mains reste à démontrer. La publication du code et des données devrait permettre à d'autres laboratoires de reproduire l'approche et de l'étendre, notamment vers l'entraînement de modèles vision-langage-action qui exigent de gros volumes de données de manipulation réelles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

ART-Glove : un gant tactile articulé pour capturer les interactions dextériques en contact

Des chercheurs ont publié sur arXiv (arXiv:2606.16370) les spécifications de l'ART-Glove (Articulated Tactile Glove), un gant instrumenté conçu pour capturer des démonstrations de manipulation dextère en préservant la mobilité naturelle de la main humaine. Le système intègre 16 surfaces rigides fonctionnelles couvrant les doigts, le pouce et la paume, reliées par 22 articulations anatomiquement alignées qui suivent le mouvement de la main en temps réel. La capture repose sur deux modalités complémentaires : un encodeur mécanique pour les positions articulaires et une matrice de capteurs piézorésistifs pour les contacts cutanés. Le résultat est une acquisition synchronisée à 120 Hz de 22 degrés de liberté (DoF) articulaires et de 2 048 taxels tactiles, soit une résolution spatiale du contact parmi les plus denses publiées pour ce type de dispositif portable. L'enjeu technique que cible ART-Glove est le goulet d'étranglement de la collecte de données pour l'apprentissage dextère des robots. Les approches actuelles de téléopération ou de capture de mouvement peinent à enregistrer simultanément la géométrie du contact et la cinématique de la main, deux informations pourtant indispensables pour qu'un réseau de politique (notamment les VLA, Vision-Language-Action models) puisse reproduire des manipulations fines comme saisir un objet fragile ou assembler un connecteur. En rendant la géométrie de contact explicite plutôt qu'inférée, le gant vise à réduire le fossé sim-to-real dans les pipelines d'imitation learning pour mains robotiques, un problème notoire qui freine le passage à l'échelle industrielle. Le contexte de ce travail s'inscrit dans une dynamique intense autour de la manipulation dextère : des projets comme DEXTAH (MIT), DexPilot (NVIDIA) ou les gants de capture de Shadow Robot ont montré l'intérêt de l'instrumentation côté opérateur humain, mais aucun ne combine à cette résolution les deux canaux cinématique et tactile sur des surfaces rigides géométriquement définies. Le papier reste pour l'heure un preprint sans validation industrielle annoncée ni partenaire commercial identifié. Les prochaines étapes naturelles seraient des expériences de transfert direct vers des mains robotiques comme la LEAP Hand ou la Dexterous Hand d'Allegro, et une évaluation des politiques apprises sur des tâches de manipulation contact-riche en dehors du laboratoire.

RecherchePaper

1 source

3arXiv cs.RO

MILE : exosquelette mécaniquement isomorphe et main visuotactile pour collecter des données en manipulation dextérique

Des chercheurs ont publié sur arXiv (identifiant 2512.00324, quatrième révision) MILE, un système de téléopération conçu pour collecter des données d'apprentissage destinées aux mains robotiques dextères. Le dispositif se compose de deux éléments co-conçus : l'exosquelette MILE, porté par l'opérateur humain, et la main robotique MILE-Tac, son pendant mécanique. La topologie cinématique est partagée à quatre doigts, ce qui permet un transfert direct des commandes dans l'espace articulaire sans passer par une cinématique inverse (IK retargeting) classique. Le système intègre des encodeurs articulaires modulaires fabriqués sur mesure et des capteurs visuotactiles compacts placés à chaque fingertip. À chaque session de démonstration, il enregistre de façon synchronisée quatre flux visuotactiles (un par doigt), les observations visuelles de la tâche, la proprioception de la main robot et les commandes issues de l'exosquelette. Les auteurs ont évalué MILE sur un benchmark de téléopération à quatre tâches, en le comparant à des interfaces à gant et à des interfaces basées vision, puis ont conduit des expériences d'apprentissage par imitation avec et sans retour tactile. L'enjeu central est le goulot d'étranglement que représente la collecte de démonstrations pour les mains à haute dimensionnalité : plus les actionneurs sont nombreux, plus les données doivent être précises et multimodales. L'isomorphisme mécanique entre l'exosquelette et la main robot réduit les erreurs d'interprétation liées au retargeting IK, qui dégrade souvent la fidélité des démonstrations dans les systèmes existants. L'intégration native du retour visuotactile est notable : les expériences d'imitation learning montrent que les politiques entraînées avec les données tactiles surpassent celles entraînées sans, ce qui renforce l'hypothèse que le toucher est un signal discriminant pour les tâches de manipulation contact-riche, longtemps sous-exploité par rapport à la vision. Ce travail s'inscrit dans une tendance de recherche qui cherche à résoudre le sim-to-real gap non par la simulation, mais par une meilleure capture de la physique réelle via des capteurs distribués. Dans le paysage concurrentiel, plusieurs équipes travaillent sur la téléopération dextère : les systèmes à gant (type CyberGlove), la rétargetion vision-only popularisée par les approches MANO, et des solutions commerciales comme Shadow Robot ou Inspire-Robots. MILE se positionne différemment en priorisant la co-conception mécanique plutôt que l'adaptation logicielle. Il s'agit à ce stade d'un prototype de recherche académique, pas d'un produit commercialisé. Les données de benchmark détaillées, le code et une page projet sont disponibles, mais aucun partenariat industriel ni timeline de transfert technologique n'est annoncé dans le preprint.

RecherchePaper

1 source

4arXiv cs.RO

DEX-PHD : un dispositif portable à main dextérique pour la collecte de données multimodales

DEX-PHD est un dispositif portable tenu en main, présenté dans un preprint arXiv (v1, octobre 2026), qui vise à rapprocher deux familles de méthodes de collecte de données de manipulation. D'un côté, la téléopération par chaîne cinématique donne un accès précis à l'état du robot, mais reste lourde et peu mobile. De l'autre, les approches par vision sont pratiques et transportables, mais fournissent peu d'information sur l'état réel du robot. Le dispositif embarque une main robotique dextre, un contrôle continu doigt par doigt et une journalisation multimodale: proprioception, données de contact au bout des doigts et vidéo d'une caméra de poignet. L'opérateur pilote directement la main robotique par un mappage au niveau des articulations. La conception est sans fil (sans attache), ce qui permet de collecter des démonstrations dans des environnements variés. Les auteurs l'ont testé sur des tâches riches en contacts qui exigent une coordination multi-doigts. Ils ont ensuite rejoué les démonstrations en boucle ouverte sur un robot humanoïde physique. Le résumé ne donne ni nombre de degrés de liberté, ni taille de jeu de données, ni taux de réussite, ni nom de la main ou du robot utilisés. Pour les équipes qui entraînent des politiques de manipulation dextre (VLA ou imitation), le goulot d'étranglement est la donnée. Les gants et la vision seule laissent un écart d'embodiment, car la main humaine n'est pas la main robot. La téléopération classique l'évite mais impose un robot complet sur site. Un outil où l'opérateur manipule avec la vraie main robotique, en enregistrant les contacts, vise à produire des démonstrations directement exploitables par le robot cible. Les résultats restent toutefois modestes: le rejeu en boucle ouverte montre que les motifs temporels des doigts et les contacts essentiels sont préservés, mais cela ne prouve ni la robustesse, ni la généralisation, ni l'apprentissage d'une politique à partir de ces données. Aucune comparaison chiffrée avec l'état de l'art n'est fournie dans le résumé. DEX-PHD s'inscrit dans la lignée des dispositifs handheld sans robot, comme l'UMI de Stanford pour les pinces, et des systèmes de capture par gant ou exosquelette pour mains dextres. Il prolonge cette logique vers des mains à plusieurs doigts équipées de capteurs tactiles. Sur le plan industriel, la même question traverse les acteurs de l'humanoïde (Figure, Tesla, Sanctuary, ou en Europe Wandercraft et Enchanted Tools): comment collecter à grande échelle des données dextres de qualité à faible coût. La suite logique serait un entraînement de politiques en boucle fermée avec ces données, une publication du matériel ou du code, et une évaluation sur des tâches plus longues. À ce stade, il s'agit d'un résultat de recherche et non d'un produit disponible.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source