Aller au contenu principal
OccluDex : apprentissage hiérarchique de représentations visuo-tactiles 3D pour la manipulation dextérique égocentrique sous auto-occlusionIllustration générée par IA
RecherchearXiv cs.RO 

OccluDex : apprentissage hiérarchique de représentations visuo-tactiles 3D pour la manipulation dextérique égocentrique sous auto-occlusion

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient sur arXiv OccluDex, un cadre d'apprentissage de représentations visuo-tactiles 3D destiné à la manipulation dextre en vision égocentrique, c'est-à-dire avec une caméra placée du point de vue du robot. Le problème visé est que la main occulte elle-même les surfaces de l'objet et les zones de contact, ce qui prive l'estimation d'état d'une partie de l'information visuelle. L'encodeur repose sur un autoencodeur masqué multi-échelle qui encode progressivement la géométrie 3D partielle. Des jetons tactiles de contact sont ensuite fusionnés avec les caractéristiques géométriques de haut niveau par attention croisée. Il est préentraîné sur des démonstrations humaines visuo-tactiles synchronisées, puis transféré gelé comme backbone perceptif pour de l'apprentissage par renforcement. Deux tâches servent à l'évaluation : la rotation d'un robinet (un tour complet de poignée dans le sens horaire) et la réorientation d'un objet posé sur une table de 180 degrés, sans le renverser. En simulation, les auteurs annoncent une précision supérieure de 12,6 % sur objets inconnus et de 8,3 % sur objets déjà vus, par rapport au meilleur modèle de référence. Des essais physiques avec une main Shadow Hand montrent un transfert sim-to-real zero-shot sur des objets inconnus.

Pour les équipes qui développent des mains dextres, l'intérêt tient à l'angle choisi. La plupart des travaux traitent l'occultation comme un bruit à tolérer, alors qu'elle est ici le cœur du problème, et c'est elle qui domine dès que la main se referme sur un objet. Le tactile compense la vision justement là où elle manque. Le préentraînement sur démonstrations humaines et le backbone gelé réduisent aussi le coût de l'apprentissage par renforcement, car l'encodeur n'a pas à être réappris pour chaque tâche. À nuancer toutefois : les gains en simulation sont modestes, et les auteurs ne précisent pas le nombre d'essais réels, le taux de réussite physique ni la variété des objets. Le test se limite à deux tâches et à une seule main, très coûteuse. Le passage vers des mains d'humanoïdes de série reste donc une extrapolation, et l'affirmation sur la manipulation humanoïde est une projection, pas un résultat démontré.

Ces travaux s'inscrivent dans la ligne des représentations 3D visuo-tactiles et des autoencodeurs masqués, appliqués à la manipulation dextre, souvent évaluée en simulation puis sur Shadow Hand. Ils se positionnent face à des approches qui combinent nuages de points et tactile sans hiérarchie entre structure globale et contact local. Les modèles VLA généralistes, qui exploitent surtout des images RGB, traitent peu le tactile et l'occultation. Aucun pilote industriel ni calendrier n'est annoncé, et il s'agit d'une publication de recherche préliminaire (v1), non évaluée par les pairs. La suite logique serait une validation sur davantage de tâches, de mains et de capteurs tactiles, avec des statistiques de réussite en conditions réelles.

Dans nos dossiers

À lire aussi

STAR : apprentissage de représentations tactiles éparses pour la manipulation dextérique via modèles vision-tactile-langage-action
Illustration générée par IA
1arXiv cs.RO 

STAR : apprentissage de représentations tactiles éparses pour la manipulation dextérique via modèles vision-tactile-langage-action

Des chercheurs ont publié le 12 septembre 2026 sur arXiv (2609.12549) STAR, un système d'apprentissage pour modèles vision-tactile-langage-action destinés à la manipulation dextre bimanuelle. L'équipe a construit une plateforme robotique et un dispositif de téléopération pour collecter 200 heures de données, soit 10 576 trajectoires réparties sur 65 tâches, dont 69,5 % impliquent une manipulation multi-doigts fine, chaque séquence étant annotée simultanément en vision, tactile et langage. STAR combine trois mécanismes pour compenser la rareté spatiale, temporelle et informationnelle des signaux tactiles : un pré-entraînement conjoint visuel-tactile, une représentation par jetons tactiles globaux épars, et une prédiction tactile future éparse.

RechercheActu
1 source
HT-Bench : évaluation et apprentissage des représentations tactiles dextériques de la main par vision égocentrique
Illustration générée par IA
2arXiv cs.RO 

HT-Bench : évaluation et apprentissage des représentations tactiles dextériques de la main par vision égocentrique

Une équipe de chercheurs a publié HT-Bench, un benchmark à grande échelle destiné à évaluer les représentations tactiles main entière dans la manipulation robotique dextre, avec un dataset de 10 millions de trames RGB et 7,8 millions de trames tactiles collectées sur 226 tâches distinctes. La publication (arXiv:2606.19161, juin 2026) propose une approche centrée sur la vision égocentrique couplée à des capteurs tactiles couvrant l'intégralité de la main robotique. Le benchmark structure l'évaluation autour de quatre tâches : récupération de similarité tactile fine, inpainting de trames masquées, synthèse vision-vers-tactile, et prédiction multimodale de trames tactiles. En parallèle, les auteurs introduisent HandTouch, un encodeur vision-tactile à quantification vectorielle (VQ), entraîné selon trois phases progressives : spatiale, cross-modale et temporelle.

RecherchePaper
1 source
VT-MUSE : apprentissage séquentiel unifié de représentations visuotactiles multimodales pour la manipulation
Illustration générée par IA
3arXiv cs.RO 

VT-MUSE : apprentissage séquentiel unifié de représentations visuotactiles multimodales pour la manipulation

Un preprint publié en août 2026 sur arXiv (2608.21290) décrit VT-MUSE, un framework en deux étapes pour l'apprentissage de représentations visuotactiles en manipulation robotique. La première étape aligne conjointement des encodeurs vision et toucher par alignement temporel cross-modal et cohérence sur vues masquées. La seconde combine un modèle latent variationnel conditionnel avec des séquences visuelles partiellement masquées et l'historique tactile complet, via des décodeurs auxiliaires qui reconstruisent les images manquantes et prédisent les variations de profondeur tactile ; la représentation obtenue alimente une politique Transformer légère par attention croisée à portes.

RecherchePaper
1 source
HiFun : un cadre hiérarchique pour l'apprentissage efficace de la manipulation dextre fonctionnelle
Illustration générée par IA
4arXiv cs.RO 

HiFun : un cadre hiérarchique pour l'apprentissage efficace de la manipulation dextre fonctionnelle

HiFun est un cadre d'apprentissage par renforcement (RL) hiérarchique, entraîné directement en conditions réelles, pour des tâches de manipulation fonctionnelle avec mains robotiques multi-doigts. Ce travail est décrit dans un preprint arXiv (2610.19518v1) dont la page projet est publiée. Ses auteurs séparent le contrôle en deux niveaux. Une « compétence de main fonctionnelle » exécute le contact précis. Une politique de coordination bras-main pilote le bras et déclenche cette compétence. Les données sont collectées plus efficacement grâce à l'augmentation par Dynamic Movement Primitives (DMP), des trajectoires paramétrées qui multiplient les démonstrations. Sur six tâches réelles et deux mains dextres différentes, HiFun atteint 98,3 % de succès moyen après une heure d'entraînement en ligne.

RecherchePaper
1 source