RecherchearXiv cs.RO 20 juillet 2026

VTAP : combiner détection au bout des doigts et paume active visuo-tactile pour la manipulation dextérique en main

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente le VTAP, un gripper robotique à trois doigts doté d'une paume visuo-tactile active combinée à des doigts compliants et reconfigurables équipés de capteurs tactiles matriciels. La paume actionnée associe localisation visuelle longue portée et retour tactile riche en contacts, ce qui étend nettement les capacités de manipulation par rapport aux pinces classiques. Pour piloter cette structure à trois doigts, différente de la main humaine, les chercheurs proposent un cadre de retargeting téléopérationnel par étapes, conditionné par gestes, traduisant les mouvements de la main d'un opérateur vers le gripper. Les expériences couvrent plusieurs tâches exigeantes : saisie réactive d'objets du jeu YCB et d'objets fragiles, réorientation en main d'une seringue avec actionnement du piston, séparation d'objets agglomérés jusqu'à 3 mm de diamètre, et insertion de type peg-in-hole guidée par vision et tact. Le papier est publié sur arXiv (2607.15448) avec une page projet dédiée.

Cette démonstration intéresse directement les équipes de R&D en manipulation dextre, car elle contredit l'hypothèse selon laquelle une manipulation fine exige des mains anthropomorphiques à haut nombre de degrés de liberté. En combinant seulement trois doigts compliants et une paume active multimodale, l'équipe montre qu'une synergie structurée doigts-paume peut suffire pour des tâches de précision comme la manipulation d'objets millimétriques ou l'insertion guidée. Pour les industriels, l'architecture proposée sert surtout de référence pratique pour la conception de grippers et la collecte de données riches en contacts, un enjeu central pour entraîner des politiques de manipulation par apprentissage, qui manquent aujourd'hui de jeux de données tactiles à grande échelle.

Ce travail s'inscrit dans la continuité des recherches sur les capteurs tactiles matriciels et la fusion vision-tact, un axe exploré par des laboratoires travaillant sur des mains tactiles ainsi que par des fabricants de mains anthropomorphiques à haut DOF comme Shadow Robot ou les mains humanoïdes de Tesla et Figure. Contrairement à ces approches privilégiant le nombre d'articulations, le VTAP mise sur la coordination doigts-paume et la perception multimodale plutôt que sur la complexité mécanique. Le projet ne mentionne pour l'instant aucun partenariat industriel ni calendrier de transfert commercial : il s'agit d'une preuve de concept en laboratoire destinée à informer la conception future de préhenseurs dextres et la collecte de données pour l'apprentissage robotique.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

VibeCheck : détection tactile acoustique active pour la manipulation riche en contacts

Des chercheurs du ROAM Lab présentent VibeCheck, un préhenseur de robot équipé de deux doigts piézoélectriques : l'un émet une vibration acoustique à travers l'objet saisi, l'autre la reçoit. Cette configuration de captation acoustique active permet d'extraire, en temps réel, des informations sur l'état de l'objet, ses propriétés matérielles, la position de saisie, la pose de structures internes, et la nature des contacts extrinsèques que l'objet entretient avec son environnement. Le système a été validé sur un bras UR5, en prenant le retour acoustique comme unique feedback sensoriel, sur la tâche d'insertion de goupille (peg insertion), un benchmark classique de manipulation dite contact-riche. Les travaux sont disponibles sur arXiv (2504.15535v2). L'intérêt principal de cette approche est d'offrir une modalité sensorielle tactile qui ne repose ni sur la vision (contrairement à GelSight ou DIGIT), ni sur un capteur force-couple classique, souvent coûteux et fragile. Le fait d'inférer le type de contact extrinsèque uniquement par signature acoustique, et d'en dériver une politique d'imitation learning robuste aux prédictions imparfaites du classificateur, suggère une voie sérieuse vers des manipulateurs capables de réagir à des contacts non planifiés sans percevoir explicitement la scène. La résilience de la politique à l'imperfection du signal est un point notable : elle a été entraînée sur un modèle de transition simulé calibré sur les performances réelles du capteur, ce qui réduit partiellement le sim-to-real gap habituel dans ce type de pipelines. L'acoustique active en robotique n'est pas nouvelle, des travaux comme SonicSense ou les approches vibrotactiles en exploration de matériaux existent depuis plusieurs années, mais son intégration dans un préhenseur commercialement plausible (doigts piézoélectriques standard) pour des tâches longue-durée reste rare. Côté concurrence, les capteurs vision-based (GelSight de MIT, DIGIT de Meta/CMU) dominent la recherche en tactile, tandis que des startups comme Touchlab ou Xela Robotics misent sur d'autres modalités. VibeCheck se distingue par sa capacité à fonctionner à travers l'objet, pas seulement à sa surface. Les prochaines étapes probables incluent l'extension à des géométries d'objets variées et l'intégration à des systèmes multi-modaux combinant acoustique et vision.

RecherchePaper

1 source

2arXiv cs.RO

MILE : exosquelette mécaniquement isomorphe et main visuotactile pour collecter des données en manipulation dextérique

Des chercheurs ont publié sur arXiv (identifiant 2512.00324, quatrième révision) MILE, un système de téléopération conçu pour collecter des données d'apprentissage destinées aux mains robotiques dextères. Le dispositif se compose de deux éléments co-conçus : l'exosquelette MILE, porté par l'opérateur humain, et la main robotique MILE-Tac, son pendant mécanique. La topologie cinématique est partagée à quatre doigts, ce qui permet un transfert direct des commandes dans l'espace articulaire sans passer par une cinématique inverse (IK retargeting) classique. Le système intègre des encodeurs articulaires modulaires fabriqués sur mesure et des capteurs visuotactiles compacts placés à chaque fingertip. À chaque session de démonstration, il enregistre de façon synchronisée quatre flux visuotactiles (un par doigt), les observations visuelles de la tâche, la proprioception de la main robot et les commandes issues de l'exosquelette. Les auteurs ont évalué MILE sur un benchmark de téléopération à quatre tâches, en le comparant à des interfaces à gant et à des interfaces basées vision, puis ont conduit des expériences d'apprentissage par imitation avec et sans retour tactile. L'enjeu central est le goulot d'étranglement que représente la collecte de démonstrations pour les mains à haute dimensionnalité : plus les actionneurs sont nombreux, plus les données doivent être précises et multimodales. L'isomorphisme mécanique entre l'exosquelette et la main robot réduit les erreurs d'interprétation liées au retargeting IK, qui dégrade souvent la fidélité des démonstrations dans les systèmes existants. L'intégration native du retour visuotactile est notable : les expériences d'imitation learning montrent que les politiques entraînées avec les données tactiles surpassent celles entraînées sans, ce qui renforce l'hypothèse que le toucher est un signal discriminant pour les tâches de manipulation contact-riche, longtemps sous-exploité par rapport à la vision. Ce travail s'inscrit dans une tendance de recherche qui cherche à résoudre le sim-to-real gap non par la simulation, mais par une meilleure capture de la physique réelle via des capteurs distribués. Dans le paysage concurrentiel, plusieurs équipes travaillent sur la téléopération dextère : les systèmes à gant (type CyberGlove), la rétargetion vision-only popularisée par les approches MANO, et des solutions commerciales comme Shadow Robot ou Inspire-Robots. MILE se positionne différemment en priorisant la co-conception mécanique plutôt que l'adaptation logicielle. Il s'agit à ce stade d'un prototype de recherche académique, pas d'un produit commercialisé. Les données de benchmark détaillées, le code et une page projet sont disponibles, mais aucun partenariat industriel ni timeline de transfert technologique n'est annoncé dans le preprint.

RecherchePaper

1 source

3arXiv cs.RO

« RoboTacDex : un jeu de données visuo-tactile-action dextérique pour la manipulation humanoïde »

Voici l'article traduit et résumé selon les consignes éditoriales : Une équipe de chercheurs en robot learning publie RoboTacDex, un jeu de données de manipulation dextre construit sur le robot humanoïde Unitree G1, accessible publiquement. L'ensemble comprend 6 000 trajectoires couvrant 19 tâches, 23 compétences distinctes et des interactions avec 22 objets différents. Chaque trajectoire embarque des flux RGB et de profondeur multi-vues, un retour tactile et des annotations sémantiques détaillées. Pour garantir la qualité de la collecte, les auteurs ont développé un système de synchronisation multi-caméras capable d'aligner les différentes modalités à la milliseconde près. Le jeu de données cible volontairement des tâches complexes, réalisables uniquement avec deux bras et des mains dextres, pour se rapprocher de la logique opérationnelle humaine. Trois modèles d'apprentissage par imitation ont été testés dessus, avec des résultats jugés positifs et une capacité de généralisation modérée sur l'ensemble des tâches. Le dataset sera open-source prochainement. L'enjeu dépasse la simple publication académique : l'apprentissage par imitation pour la manipulation bimanuelle dextre souffre d'un manque chronique de démonstrations diversifiées et multimodales, la plupart des jeux de données existants se limitant à la vision RGB seule. L'ajout systématique du tactile et d'une synchronisation précise entre capteurs comble un vide identifié par plusieurs laboratoires travaillant sur des modèles vision-langage-action (VLA). Pour les équipes qui entraînent ce type de modèles, disposer de données ouvertes et denses sur une plateforme humanoïde standardisée réduit la dépendance aux jeux de données propriétaires des grands acteurs américains. Le choix du Unitree G1, plateforme humanoïde relativement abordable et largement diffusée dans les laboratoires de recherche, s'inscrit dans une dynamique d'ouverture des données robotiques comparable à des initiatives comme Open X-Embodiment. Ce positionnement contraste avec les approches propriétaires de Physical Intelligence (Pi-0) ou NVIDIA (GR00T), qui restreignent l'accès à leurs corpus d'entraînement. La mise en open source, annoncée mais pas encore effective à la date de publication du prépublication arXiv, déterminera l'impact réel de RoboTacDex sur la communauté.

RecherchePaper

1 source

4arXiv cs.RO

SpikeATac : un doigt tactile multimodal à détection dynamique taxélisée pour la manipulation dextérique

Le ROAM Lab présente SpikeATac, un doigt tactile multimodal pour la manipulation robotique dextre, dans une révision (v3) d'un article initialement publié sur arXiv en octobre 2025. Le capteur combine un film PVDF taxelisé, découpé en 16 zones de détection et échantillonné à 4 kHz, qui capte les signaux dynamiques dès l'amorce et la rupture du contact, avec une couche capacitive assurant la mesure statique de la pression, d'où sa réponse en "pics" qui lui donne son nom. Les chercheurs ont caractérisé la sensibilité de chaque modalité et montré que SpikeATac permet d'arrêter une préhension rapidement et délicatement sur des objets fragiles ou déformables. Au-delà de la pince parallèle, l'équipe a intégré le capteur à une main robotique multidoigts dextre, pilotée par une politique affinée via apprentissage par renforcement à partir de retour humain (RLHF) pour moduler la force appliquée. Résultat revendiqué: une manipulation en main d'objets fragiles jamais démontrée jusque-là sur ce type de plateforme. Des vidéos sont disponibles sur roamlab.github.io/spikeatac. Ce travail cible un angle mort connu des mains robotiques: la plupart des capteurs tactiles privilégient soit la résolution statique, soit la réactivité dynamique, rarement les deux, ce qui limite la détection de l'instant où un objet commence à glisser ou se déformer sous la pince. Un retour tactile à 4 kHz couplé à une lecture statique fiable vise directement les cas d'usage où les pinces industrielles classiques échouent ou abîment la charge (fruits, verre, colis, composants électroniques). Le choix du RLHF plutôt qu'une simple fonction de récompense simulée suggère que le réglage fin de la force reste difficile à spécifier automatiquement, un signal utile pour les intégrateurs évaluant des politiques apprises en conditions réelles. SpikeATac se distingue des capteurs à caméra interne comme GelSight ou DIGIT, plus coûteux en calcul et moins réactifs aux événements de contact rapides. L'article, purement académique, ne mentionne ni partenariat industriel ni déploiement hors laboratoire: c'est une preuve de faisabilité, pas un produit commercialisé. Aucun acteur français ou européen n'y figure. Les auteurs évoquent comme suites possibles la miniaturisation du capteur pour des mains commerciales et l'extension du pipeline RLHF à d'autres tâches de manipulation en contact riche.

RecherchePaper

1 source