Aller au contenu principal
ViTacPhys : préhension consciente des propriétés physiques à partir de démonstrations visuo-tactiles humainesIllustration générée par IA
RecherchearXiv cs.RO 

ViTacPhys : préhension consciente des propriétés physiques à partir de démonstrations visuo-tactiles humaines

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Publiée le 24 août 2026 sur arXiv (2608.21355), l'étude ViTacPhys présente un système visuo-tactile qui estime la masse, la classe de frottement et la rigidité continue d'un objet à partir de démonstrations de manipulation humaines. Entraîné sur 60 objets rigides et déformables, le modèle combine modélisation temporelle visuo-tactile, fusion multimodale par cross-attention et a priori sémantique issu d'un modèle vision-langage. Sur des objets déjà vus, il atteint 97,2% de précision pour la masse, 98,8% pour le frottement et une erreur de 5,51% sur la rigidité; sur des objets inédits de catégories connues, ces scores tombent à 87,5%, 97,5% et 9,08%. Transféré vers un bras robotique via peu de données de téléopération, une augmentation vidéo au style robot et des démonstrations humaines aux gestes appariés, il pilote une préhension adaptative qui réussit 95,0% des prises sur objets connus et 83,4% hors distribution, avec des profils de force plus proches de la téléopération humaine que ceux de la référence ACT.

La plupart des modèles d'action vision-robot restent appris de bout en bout sans ancrage explicite sur les propriétés physiques de l'objet saisi, limitant l'adaptation de la force de préhension face à un objet glissant, lourd ou fragile. En conditionnant la prise sur masse, frottement et rigidité estimés, ViTacPhys produit des profils de force plus cohérents avec la téléopération humaine qu'une politique par imitation classique comme ACT, un signal utile pour la logistique, le tri de colis ou la manipulation d'objets déformables. Il reste toutefois un travail de recherche en prépublication, évalué en laboratoire sur 60 objets, sans déploiement industriel annoncé.

Le travail s'inscrit dans une tendance de la recherche en manipulation robotique visant à exploiter des démonstrations humaines équipées de capteurs tactiles pour amorcer l'apprentissage, en complément des modèles vision-langage-action comme Pi-0, GR00T N2 ou Helix, plutôt calibrés sur la vision et la proprioception. ViTacPhys ne propose pas un nouveau VLA mais un module d'estimation physique conçu pour s'y greffer. L'abstract ne mentionne ni laboratoire ni entreprise partenaire ni calendrier de pilote: il s'agit d'une preuve de concept académique dont la suite logique serait une validation sur davantage d'objets et hors environnement contrôlé.

À lire aussi

TaRL : apprendre des récompenses générales et physiques à partir de démonstrations tactiles
Illustration générée par IA
1arXiv cs.RO 

TaRL : apprendre des récompenses générales et physiques à partir de démonstrations tactiles

Des chercheurs de l'équipe EmbodiedAI de la NTU (Nanyang Technological University) proposent TaRL (Tactile Reward Learning), un cadre qui apprend des fonctions de récompense à partir de démonstrations tactiles, pour l'apprentissage par renforcement (RL) de tâches de manipulation riches en contacts. Le système prend en entrée une séquence de cartes de déformation tactile et régresse un indice d'avancement de la tâche, en s'entraînant à la fois sur des démonstrations réussies et sur des échecs. Il a été évalué sur quatre tâches en simulation et deux en conditions réelles.

RecherchePaper
1 source
Générer des mains robotiques à partir de démonstrations humaines
Illustration générée par IA
2arXiv cs.RO 

Générer des mains robotiques à partir de démonstrations humaines

Des chercheurs ont publié un framework de co-conception de mains robotiques guidé par les données (arXiv:2506.20549, juin 2025). Le problème visé est le co-design corps/contrôleur: optimiser simultanément la morphologie d'un effecteur et son contrôleur crée un espace combinatoire difficilement tractable. La solution exploite plus de 4 millions de frames de mouvements de bouts de doigts humains issus de manipulations quotidiennes pour optimiser des mains à structure arborescente, en utilisant une politique de contrôle minimale commune à la phase de recherche et à la phase opérationnelle: le suivi de position des fingertips par cinématique inverse (IK).

RecherchePaper
1 source
VisTacAlign : co-entraînement de politiques dextériques sur des démonstrations tactiles humaines et robotiques
Illustration générée par IA
3arXiv cs.RO 

VisTacAlign : co-entraînement de politiques dextériques sur des démonstrations tactiles humaines et robotiques

Un preprint arXiv (2609.30959v1), publié fin septembre 2026 avec une page projet à vis-tac-align.github.io, présente VisTacAlign, un framework de co-entraînement de politiques de manipulation dextre combinant vision 3D et tactile. Des démonstrations humaines captées par un gant tracké sont retargetées vers une main robotique tactile à 17 degrés de liberté, avec une correction ponctuelle des doigts. La main humaine est effacée des vues stéréo et remplacée par un maillage de main robot texturé à partir d'images robot réelles, puis un modèle de fondation stéréo est réappliqué sur l'image composite pour homogénéiser les erreurs de perception entre les deux sources.

RecherchePaper
1 source
Dex-X : manipulation dextérique visuo-tactile apprise à partir de vidéos humaines par interaction simulée
Illustration générée par IA
4arXiv cs.RO 

Dex-X : manipulation dextérique visuo-tactile apprise à partir de vidéos humaines par interaction simulée

Un article publié sur arXiv (arXiv:2609.07747v2) présente Dex-X, un framework qui entraîne des politiques de manipulation dextre visuo-tactile à partir de simples vidéos humaines monoculaires, sans collecte de données sur robot réel. Le système reconstruit en simulation les interactions main-objet filmées pour générer une supervision tactile physiquement cohérente, absente des vidéos d'origine, puis entraîne une politique "enseignante" distillée en une politique déployable utilisant nuages de points et capteurs tactiles. Sur une plateforme main-bras dextre, le transfert simulation-réel s'effectue en zero-shot sur des tâches de préhension et de manipulation d'outils à contact riche.

RecherchePaper
1 source