Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
AdaDexGrasp : préhension dextérique adaptative par fusion de représentations visuo-tactiles 3D
RecherchearXiv cs.RO 

AdaDexGrasp : préhension dextérique adaptative par fusion de représentations visuo-tactiles 3D

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un nouveau système de préhension robotique baptisé AdaDexGrasp vient d'être publié sur arXiv (référence 2608.07600) en août 2026. Le framework vise à rapprocher les mains robotiques dextres du niveau d'adaptabilité humain en fusionnant vision et toucher : les signaux tactiles de chaque doigt sont associés à son identité propre et combinés à la géométrie 3D de l'objet saisi, formant une représentation unique dite visuo-tactile. Cette représentation alimente trois briques : génération de poses de préhension tenant compte du contact dès la planification, prédiction de faisabilité, puis ajustement dynamique de la prise une fois le contact établi. Les auteurs disent avoir testé l'approche en simulation et sur robot réel, avec une amélioration du taux de réussite et de la généralisation à des objets variés. Le résumé publié ne fournit toutefois ni chiffre précis de taux de succès, ni nombre de degrés de liberté de la main utilisée, ni comparaison chiffrée avec des méthodes existantes, des détails qui restent à vérifier dans l'article complet.

Le sujet touche un angle mort connu de la préhension robotique dextre : la plupart des pipelines actuels planifient une prise à partir d'images puis exécutent sans réellement corriger après le contact, ce qui dégrade la robustesse face aux objets fragiles, déformables ou mal localisés par la seule vision. Un mécanisme de rétroaction tactile post-contact qui tiendrait ses promesses hors laboratoire intéresserait directement les intégrateurs travaillant sur le bin-picking, l'assemblage fin ou les mains de robots humanoïdes, domaines où l'échec de préhension reste un goulot d'étranglement malgré les progrès des modèles vision-langage-action.

Cette recherche s'inscrit dans une tendance plus large de fusion visuo-tactile en manipulation robotique, portée depuis plusieurs années par des capteurs comme GelSight ou DIGIT et par des jeux de données de préhension dextre type DexGraspNet. AdaDexGrasp reste à ce stade une contribution académique en pré-publication, non revue par les pairs, sans partenariat industriel ni déploiement annoncé. Sa validation indépendante sur du matériel commercial constituera la prochaine étape à surveiller.

Dans nos dossiers

IA physique & VLAManipulation robotiquearXiv cs.RO

À lire aussi

Préhension dextérique sans vision par apprentissage tactile Real2Sim2Real
1arXiv cs.RO 

Préhension dextérique sans vision par apprentissage tactile Real2Sim2Real

Des chercheurs ont publié en juin 2026 sur arXiv (réf. 2606.11767) un framework Real2Sim2Real pour la saisie aveugle par main dextre, sans aucune entrée visuelle, en s'appuyant exclusivement sur des capteurs tactiles distribués. Déployé sur une LEAP Hand quatre-doigts équipée de capteurs tactiles sur chaque phalange, le système atteint 27 % de taux de succès en conditions réelles sur 20 objets (10 vus à l'entraînement, 10 inédits), sans démonstration humaine ni caméra. L'architecture combine trois composants : un pipeline de calibration Real2Sim construisant un simulateur jumeau numérique fidèle aux signaux tactiles physiques ; un encodeur tactile layout-aware intégrant la géométrie des capteurs via préentraînement auto-supervisé, pour compenser la faible expressivité des signaux épars ; et une Diffusion Policy agrégant les trajectoires réussies d'experts en apprentissage par renforcement, spécialisés par objet dans le simulateur calibré. Le 27 % de taux de succès reste modeste opérationnellement, mais l'enjeu réel est la fermeture du tactile sim-to-real gap, l'un des obstacles les plus tenaces à la généralisation des mains dextres hors laboratoire. La plupart des systèmes antérieurs substituent la vision au toucher ou se limitent à des capteurs de force simples. Ici, la calibration contact-level du simulateur permet d'entraîner des politiques qui transfèrent sur le hardware sans fine-tuning en monde réel, résultat que les ablations confirment sur la cohérence des événements de contact sim-à-hardware. Pour un intégrateur ou un responsable industriel, c'est une preuve de concept que la manipulation en environnement occlus ou non éclairé devient accessible via simulation, sans collecter de données réelles coûteuses. Ce travail s'inscrit dans un écosystème en rapide structuration autour de la manipulation tactile dextre. La LEAP Hand, développée à Carnegie Mellon et commercialisée à bas coût pour la recherche, est devenu un banc de test de référence dans ce domaine. La Diffusion Policy, popularisée par Columbia University dès 2023, continue de s'imposer comme backbone standard pour l'imitation learning dextre. L'écosystème de capteurs reste fragmenté entre XELA Robotics, GelSight et diverses peaux tactiles propriétaires. Aucun partenaire industriel ni déploiement en production n'est annoncé, positionnant clairement ce preprint comme contribution académique ; les prochaines étapes probables passent par une taxonomie d'objets plus large et une densité de capteurs accrue pour dépasser ce premier seuil de 27 %.

RecherchePaper
1 source
STAR : apprentissage de représentations tactiles éparses pour la manipulation dextérique via modèles vision-tactile-langage-action
2arXiv cs.RO 

STAR : apprentissage de représentations tactiles éparses pour la manipulation dextérique via modèles vision-tactile-langage-action

Des chercheurs ont publié le 12 septembre 2026 sur arXiv (2609.12549) STAR, un système d'apprentissage pour modèles vision-tactile-langage-action destinés à la manipulation dextre bimanuelle. L'équipe a construit une plateforme robotique et un dispositif de téléopération pour collecter 200 heures de données, soit 10 576 trajectoires réparties sur 65 tâches, dont 69,5 % impliquent une manipulation multi-doigts fine, chaque séquence étant annotée simultanément en vision, tactile et langage. STAR combine trois mécanismes pour compenser la rareté spatiale, temporelle et informationnelle des signaux tactiles : un pré-entraînement conjoint visuel-tactile, une représentation par jetons tactiles globaux épars, et une prédiction tactile future éparse. Après entraînement sur ce corpus, puis un post-entraînement léger de seulement 100 trajectoires par tâche, le modèle atteint un taux de réussite moyen de 61 % sur quatre tâches réelles. Ce résultat s'attaque à un goulot d'étranglement connu des modèles vision-langage-action (VLA) : le signal tactile, clairsemé par nature, est souvent négligé au profit de la seule combinaison vision-langage, ce qui limite la finesse de manipulation. Démontrer qu'un post-entraînement de 100 démonstrations par tâche suffit à dépasser 60 % de réussite renforce l'idée qu'une intégration tactile native, plutôt qu'ajoutée après coup, améliore la généralisation des politiques robotiques. Pour les intégrateurs en robotique humanoïde et en préhension industrielle, cela ouvre une piste concrète pour réduire le coût de collecte de données réelles, souvent le vrai frein au passage du laboratoire au terrain. Le chiffre de 61 % reste toutefois à confirmer sur des objets et environnements non vus, les quatre tâches testées ayant été sélectionnées par les auteurs eux-mêmes. STAR s'inscrit dans une recherche croissante visant à doter les modèles VLA d'un véritable retour tactile, alors que des systèmes de référence du secteur, comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, reposent surtout sur la coordination vision-langage sans exploiter systématiquement le toucher. La rareté des jeux de données vision-tactile-langage synchronisés à grande échelle explique en partie pourquoi peu d'acteurs disposent d'un corpus comparable aux 10 576 trajectoires réunies ici. Publié comme préprint sans affiliation industrielle revendiquée ni calendrier de déploiement, STAR reste à ce stade une contribution de recherche. La communauté attendra probablement la publication du code et du jeu de données, ainsi que des comparaisons directes avec d'autres architectures tactiles en cours de développement.

RechercheActu
1 source
CoorGrasp : contrôle de contact coordonné pour une préhension dextérique adaptative sous incertitude
3arXiv cs.RO 

CoorGrasp : contrôle de contact coordonné pour une préhension dextérique adaptative sous incertitude

Une équipe de recherche propose CoorGrasp, un contrôleur prédictif piloté par le toucher (tactile-driven model predictive controller) conçu pour améliorer l'exécution de prises dextres complexes lorsque la forme ou la position exacte d'un objet reste incertaine. Le problème ciblé est concret : en boucle ouverte, une main robotique dextre a tendance à établir des contacts mal coordonnés entre ses doigts, ce qui provoque des mouvements indésirables de l'objet en main, voire des échecs de prise complets. La méthode repose sur trois apports techniques précis : une séparation des phases sensible à la coordination (approche puis serrage), une coordination bras-main destinée à compenser les erreurs de position, et une coordination adaptative des forces pour augmenter les forces de contact de façon équilibrée entre les points d'appui. Un modèle analytique relie les forces de contact aux mouvements articulaires du robot pour piloter cette commande prédictive. L'équipe a validé l'approche via 15 000 prises simulées portant sur 478 objets différents, testées sur trois mains robotiques distinctes, complétées par des essais réels sur 8 objets physiques. L'enjeu dépasse la seule prouesse algorithmique. Une grande partie de la recherche récente en manipulation dextre s'est concentrée sur la génération de poses de prise (où poser les doigts), en traitant l'exécution comme une étape secondaire. Or c'est précisément cette exécution qui échoue en conditions réelles, quand les capteurs de vision se trompent sur la géométrie ou la position exacte d'un objet. En démontrant un gain mesurable de taux de réussite et une réduction des mouvements parasites de l'objet, ce travail s'attaque directement à l'écart classique entre démonstration en laboratoire et robustesse en environnement non contrôlé, un frein connu à l'adoption industrielle des mains robotiques multi-doigts pour la logistique ou l'assemblage fin. Le point notable de généralité de CoorGrasp est qu'il ne dépend pas d'un type de prise ou d'une configuration de contact particulière : il s'intègre à n'importe quelle méthode existante de génération de poses de prise, ce qui en fait potentiellement une brique complémentaire plutôt qu'un système fermé. Publié sur arXiv début juillet 2026, ce travail s'inscrit dans un effort de recherche plus large visant à combler l'écart entre planification de prise et contrôle tactile en temps réel, un axe suivi de près par les laboratoires travaillant sur les mains dextres pour l'humanoïde et la manipulation fine.

RecherchePaper
1 source
HT-Bench : évaluation et apprentissage des représentations tactiles dextériques de la main par vision égocentrique
4arXiv cs.RO 

HT-Bench : évaluation et apprentissage des représentations tactiles dextériques de la main par vision égocentrique

Une équipe de chercheurs a publié HT-Bench, un benchmark à grande échelle destiné à évaluer les représentations tactiles main entière dans la manipulation robotique dextre, avec un dataset de 10 millions de trames RGB et 7,8 millions de trames tactiles collectées sur 226 tâches distinctes. La publication (arXiv:2606.19161, juin 2026) propose une approche centrée sur la vision égocentrique couplée à des capteurs tactiles couvrant l'intégralité de la main robotique. Le benchmark structure l'évaluation autour de quatre tâches : récupération de similarité tactile fine, inpainting de trames masquées, synthèse vision-vers-tactile, et prédiction multimodale de trames tactiles. En parallèle, les auteurs introduisent HandTouch, un encodeur vision-tactile à quantification vectorielle (VQ), entraîné selon trois phases progressives : spatiale, cross-modale et temporelle. Les gains quantitatifs de HandTouch sur HT-Bench sont nets : le Recall@5 en récupération de similarité tactile passe de 74,65 % à 85,23 %, l'erreur quadratique moyenne (RMSE) en inpainting chute de 0,022 à 0,010, et le score cIoU hors-distribution (OOD) en synthèse vision-tactile progresse de 0,628 à 0,705. Pour l'industrie robotique, cela valide une hypothèse structurante : coupler vision égocentrique et retour tactile main entière constitue une base d'apprentissage généralisable, sans exiger des capteurs ou des embodiments standardisés. C'est un signal concret pour les intégrateurs et équipes R&D travaillant sur la manipulation dextre en environnements non structurés, où percevoir l'état d'une prise sans vision directe reste un verrou majeur. Le domaine du tactile en robotique souffre depuis longtemps d'une fragmentation des formats de capteurs et des protocoles, rendant les comparaisons entre travaux difficiles. HT-Bench s'inscrit dans une dynamique de benchmarking qui émerge en 2025-2026, aux côtés d'initiatives comme RoboSet, DROID ou LIBERO pour la manipulation généraliste. Des laboratoires comme le CMU Robotics Institute et le MIT CSAIL, ainsi que des entreprises comme Sanctuary AI, explorent des approches similaires de fusion tactile-visuelle. Aucun acteur européen n'est directement cité dans ce travail, mais des startups comme Enchanted Tools ou Wandercraft, actives sur la manipulation avancée, pourraient tirer parti d'un tel benchmark pour standardiser leurs évaluations internes. L'étape suivante logique serait l'intégration de HandTouch dans des pipelines VLA (Vision-Language-Action), où le retour tactile reste aujourd'hui largement absent.

RecherchePaper
1 source