Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
ViTacFormer : apprentissage de représentations cross-modales pour la manipulation dextérique vision-tactile
RecherchearXiv cs.RO 

ViTacFormer : apprentissage de représentations cross-modales pour la manipulation dextérique vision-tactile

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié en juin 2025 ViTacFormer, une architecture d'apprentissage de représentations multi-modales pour la manipulation dextre robotique. Le système couple un encodeur cross-attention fusionnant vision haute résolution et données tactiles avec une tête de prédiction autoregressive des signaux de contact futurs, entraîné selon un curriculum progressif allant des tâches simples aux plus complexes. La représentation apprise pilote un module d'imitation learning pour des mains anthropomorphes multi-doigts. Sur des benchmarks réels en laboratoire, ViTacFormer dépasse les systèmes état de l'art précédents d'environ 50 %, enchaîne jusqu'à 11 étapes séquentielles sans intervention humaine et maintient une opération continue de 2,5 minutes sur des tâches de manipulation de précision.

L'architecture répond à un verrou concret de la manipulation fine : les occlusions visuelles rendent la vision seule insuffisante lorsque la main cache l'objet, un problème que les capteurs tactiles résolvent mais que peu de systèmes intègrent de façon apprenante. La prédiction anticipée des contacts plutôt que leur simple détection réactive réduit la latence de contrôle, décisive pour les gestes de précision. La capacité à enchaîner 11 sous-tâches ouvre une voie pour l'assemblage multi-étapes industriel, où les robots classiques nécessitent actuellement une programmation explicite à chaque étape. Ces résultats restent cependant des benchmarks de laboratoire contrôlés ; la distance avec un déploiement en ligne de production réelle, où la variabilité des pièces et la robustesse du capteur tactile dans le temps sont critiques, demeure entière.

ViTacFormer s'inscrit dans une vague de travaux combinant modèles VLA (Vision-Language-Action) et retour haptique, explorée également par Google DeepMind (Robotic Transformer), Physical Intelligence (Pi-0) et des startups comme Dexterous AI. Côté matériel, la dépendance aux mains anthropomorphes multi-doigts reste un frein à la commercialisation : Shadow Robot (UK) et Inspire-Robots (CN) dominent ce segment, mais à des coûts et avec une fiabilité mécanique qui limitent encore les déploiements industriels à grande échelle. Le travail est publié sous forme de preprint arXiv (arXiv:2506.15953), sans code ni dataset public annoncé à ce stade ; la transition vers des résultats reproductibles et des pilotes hors laboratoire constitue l'étape critique à surveiller.

Dans nos dossiers

Physical Intelligence — π0OpenVLA / RT-XarXiv cs.RO

À lire aussi

STAR : apprentissage de représentations tactiles éparses pour la manipulation dextérique via modèles vision-tactile-langage-action
1arXiv cs.RO 

STAR : apprentissage de représentations tactiles éparses pour la manipulation dextérique via modèles vision-tactile-langage-action

Des chercheurs ont publié le 12 septembre 2026 sur arXiv (2609.12549) STAR, un système d'apprentissage pour modèles vision-tactile-langage-action destinés à la manipulation dextre bimanuelle. L'équipe a construit une plateforme robotique et un dispositif de téléopération pour collecter 200 heures de données, soit 10 576 trajectoires réparties sur 65 tâches, dont 69,5 % impliquent une manipulation multi-doigts fine, chaque séquence étant annotée simultanément en vision, tactile et langage. STAR combine trois mécanismes pour compenser la rareté spatiale, temporelle et informationnelle des signaux tactiles : un pré-entraînement conjoint visuel-tactile, une représentation par jetons tactiles globaux épars, et une prédiction tactile future éparse. Après entraînement sur ce corpus, puis un post-entraînement léger de seulement 100 trajectoires par tâche, le modèle atteint un taux de réussite moyen de 61 % sur quatre tâches réelles. Ce résultat s'attaque à un goulot d'étranglement connu des modèles vision-langage-action (VLA) : le signal tactile, clairsemé par nature, est souvent négligé au profit de la seule combinaison vision-langage, ce qui limite la finesse de manipulation. Démontrer qu'un post-entraînement de 100 démonstrations par tâche suffit à dépasser 60 % de réussite renforce l'idée qu'une intégration tactile native, plutôt qu'ajoutée après coup, améliore la généralisation des politiques robotiques. Pour les intégrateurs en robotique humanoïde et en préhension industrielle, cela ouvre une piste concrète pour réduire le coût de collecte de données réelles, souvent le vrai frein au passage du laboratoire au terrain. Le chiffre de 61 % reste toutefois à confirmer sur des objets et environnements non vus, les quatre tâches testées ayant été sélectionnées par les auteurs eux-mêmes. STAR s'inscrit dans une recherche croissante visant à doter les modèles VLA d'un véritable retour tactile, alors que des systèmes de référence du secteur, comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, reposent surtout sur la coordination vision-langage sans exploiter systématiquement le toucher. La rareté des jeux de données vision-tactile-langage synchronisés à grande échelle explique en partie pourquoi peu d'acteurs disposent d'un corpus comparable aux 10 576 trajectoires réunies ici. Publié comme préprint sans affiliation industrielle revendiquée ni calendrier de déploiement, STAR reste à ce stade une contribution de recherche. La communauté attendra probablement la publication du code et du jeu de données, ainsi que des comparaisons directes avec d'autres architectures tactiles en cours de développement.

RechercheActu
1 source
VT-MUSE : apprentissage séquentiel unifié de représentations visuotactiles multimodales pour la manipulation
2arXiv cs.RO 

VT-MUSE : apprentissage séquentiel unifié de représentations visuotactiles multimodales pour la manipulation

Un preprint publié en août 2026 sur arXiv (2608.21290) décrit VT-MUSE, un framework en deux étapes pour l'apprentissage de représentations visuotactiles en manipulation robotique. La première étape aligne conjointement des encodeurs vision et toucher par alignement temporel cross-modal et cohérence sur vues masquées. La seconde combine un modèle latent variationnel conditionnel avec des séquences visuelles partiellement masquées et l'historique tactile complet, via des décodeurs auxiliaires qui reconstruisent les images manquantes et prédisent les variations de profondeur tactile ; la représentation obtenue alimente une politique Transformer légère par attention croisée à portes. Sur le benchmark de simulation retenu, VT-MUSE dépasse la meilleure méthode concurrente de 11 points de pourcentage sur toutes les tâches testées, avec des gains également substantiels en conditions réelles, non chiffrés. Le papier cible un angle mort connu de la manipulation robotique : la plupart des méthodes visuotactiles fusionnent tardivement des flux vision et toucher encodés séparément, limitant les corrélations fines entre modalités, et négligent l'évolution temporelle du contact au profit du seul instant présent. Pour des gestes sensibles comme l'insertion de précision, la préhension d'objets fragiles ou le contrôle de force en assemblage, c'est pourtant cette dynamique dans le temps qui conditionne la réussite du geste. Le résultat conforte l'idée que les politiques d'action de type VLA gagnent en robustesse quand le tact est traité comme un signal temporel structuré, même si le gain de 11 points reste mesuré face à une seule baseline sur un benchmark propre à l'étude, et la validation réelle demeure peu détaillée. VT-MUSE s'inscrit dans une recherche plus large visant à traiter le signal tactile avec la même rigueur temporelle que la vision, aux côtés d'architectures génériques comme Pi-0 ou GR00T N2 qui restent, elles, centrées sur la vision et le langage. Sa contribution tient à l'alignement conjoint des modalités dès l'encodage et à la modélisation explicite de l'historique tactile complet, là où les approches existantes fusionnent des flux traités indépendamment. S'agissant d'un preprint tout juste mis en ligne, la suite logique passe par la publication du code et une évaluation sur des tâches et plateformes robotiques plus variées, préalable à toute adoption par des intégrateurs industriels.

RecherchePaper
1 source
Distillation de représentations tactiles simulées pour la manipulation dextérique (PTLD)
3arXiv cs.RO 

Distillation de représentations tactiles simulées pour la manipulation dextérique (PTLD)

Des chercheurs ont publié sur arXiv (référence 2603.04531) une méthode baptisée PTLD, pour "Privileged Tactile Latent Distillation", visant à résoudre l'un des verrous fondamentaux de la manipulation dextère robotique : intégrer le retour tactile dans des politiques de contrôle sans disposer de simulation réaliste de capteurs tactiles. L'approche repose sur un entraînement par renforcement en simulation, puis une phase de distillation en monde réel : des capteurs tactiles "privilégiés" (accessibles uniquement lors de la collecte de données réelles) servent à entraîner un estimateur d'état latent, qui est ensuite intégré dans la politique proprioceptive déjà apprise. Sur la tâche de référence de rotation en main (in-hand rotation), PTLD affiche une amélioration de 182 % par rapport à une politique basée uniquement sur la proprioception. Sur la tâche plus difficile de réorientation en main guidée par le toucher, le gain atteint 57 % en nombre d'objectifs atteints. L'enjeu industriel est direct : la manipulation fine avec des mains multi-doigts bute depuis des années sur deux obstacles simultanés, l'impossibilité de simuler fidèlement les capteurs tactiles et le coût prohibitif des démonstrations téléopérées de qualité suffisante. PTLD contourne les deux en découplant apprentissage en simulation (pour la dynamique) et distillation en monde réel (pour le sens du toucher), sans jamais exiger de simulation tactile. Ce résultat valide l'hypothèse que le sim-to-real n'implique pas nécessairement de simuler chaque modalité sensorielle, à condition de concevoir intelligemment la phase de transfert. Pour les intégrateurs et les équipes de R&D travaillant sur l'assemblage précis ou la manipulation d'objets déformables, c'est un signal fort : des politiques robustes sont atteignables sans infrastructure de téléopération lourde. La manipulation dextère avec retour tactile reste un chantier ouvert dans le champ robotique : des acteurs comme Sanctuary AI, Dexterous Robotics, ou encore Shadow Robot explorent des approches similaires, tandis que des laboratoires académiques (Stanford, CMU, MIT) publient régulièrement sur le sim-to-real pour mains multi-doigts. PTLD se distingue en évitant la simulation tactile là où d'autres groupes investissent dans des moteurs physiques spécialisés (ex. Isaac Gym avec contact enrichi). Aucun déploiement industriel n'est annoncé à ce stade, il s'agit d'un résultat académique publié sur preprint ; la reproductibilité sur des plateformes matérielles variées (Allegro, LEAP Hand, Dexterous Hand de Shadow) reste à démontrer.

RecherchePaper
1 source
Apprentissage cross-modal visuo-tactile avec transformeurs à découpage d'actions pour la manipulation à contacts riches
4arXiv cs.RO 

Apprentissage cross-modal visuo-tactile avec transformeurs à découpage d'actions pour la manipulation à contacts riches

Une équipe de recherche présente une méthode d'apprentissage par contraste visuo-tactile destinée aux robots manipulateurs confrontés à des tâches nécessitant un contact physique fin. Décrite dans un article publié sur arXiv (arXiv:2602.00514v3, version corrigée), l'approche aligne les images RGB externes et les images tactiles calibrées dans un espace de représentation partagé, via un objectif de type CLIP, puis intègre cette représentation dans une politique d'imitation basée sur un Action Chunking Transformer (ACT). Pour collecter les données, les chercheurs ont conçu un préhenseur visuo-tactile low-cost baptisé LVTG, pensé comme une plateforme modulaire et durable reproductible par d'autres laboratoires. Sur des tâches de manipulation à fort contact, le taux moyen de réussite passe de 30% pour une politique ACT vision seule à 42% avec l'ajout brut de signaux tactiles, puis à 54% grâce au pré-entraînement contrastif proposé. Ce résultat cible un point de friction concret pour l'industrie robotique: les capteurs tactiles produisent des signaux image-like, dépendants du matériel et faiblement corrélés aux flux visuels externes, ce qui rend leur exploitation directe peu efficace dans les politiques d'apprentissage par imitation. En démontrant qu'un alignement explicite entre modalités visuelle et tactile surpasse un simple ajout brut du signal tactile, l'étude apporte un argument empirique en faveur du pré-entraînement contrastif comme brique standard pour les politiques de manipulation fine, un enjeu direct pour les intégrateurs travaillant sur l'assemblage, l'insertion ou la préhension d'objets déformables. Le gain de 12 points entre ajout naïf et approche alignée reste toutefois mesuré sur un jeu de tâches limité, propre à un article de recherche, et ne présage pas encore d'un déploiement industriel. Le travail s'inscrit dans une lignée de recherches cherchant à combler l'écart entre la richesse des retours tactiles et leur faible exploitation réelle dans les politiques de contrôle robotique, un problème identifié depuis plusieurs années en robotique manipulative et exacerbé par l'hétérogénéité du matériel tactile disponible. Le choix d'un capteur low-cost et modulaire (LVTG) vise explicitement la reproductibilité, un critère souvent absent des travaux utilisant des capteurs tactiles propriétaires coûteux. L'article ne mentionne pas de partenariat industriel ni de calendrier de transfert vers un produit commercial: il s'agit à ce stade d'une contribution méthodologique et matérielle destinée à la communauté de recherche en apprentissage par imitation, sans acteur français ou européen identifié dans cette publication.

RecherchePaper
1 source