RecherchearXiv cs.RO 4 août 2026

TWINS : un système bras isomorphique portable à retour tactile en réseau pour l'apprentissage de la manipulation à contacts riches

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

TWINS (Tactile Wearable Isomorphic Arm Networked System) est un système robotique présenté dans un article publié sur arXiv (2608.01733v1) et conçu pour l'apprentissage de tâches de manipulation impliquant un contact avec la surface du corps du robot, et pas seulement avec ses pinces. Le système repose sur deux éléments : un dispositif bras double porté par l'opérateur humain, et un robot isomorphe reproduisant exactement la même configuration articulaire et les mêmes dimensions externes. Des capteurs tactiles distribués, intégrés au niveau du torse et des bras, mesurent en continu le contact avec la surface du corps, synchronisé avec le mouvement des articulations. À l'aide du dispositif porté, les chercheurs ont collecté des démonstrations pour quatre tâches de manipulation impliquant ce type de contact corporel. Des politiques d'apprentissage par imitation ont ensuite été entraînées sur ces données puis déployées sur le robot isomorphe, permettant une exécution autonome guidée par les retours tactiles du torse et des bras.

L'intérêt de TWINS tient à un angle mort connu des pipelines actuels de collecte de données : la plupart des systèmes de téléopération (gants, manettes VR, exosquelettes) ne capturent que les trajectoires de l'effecteur terminal, ce qui limite les robots à des tâches de préhension et de dépose. Or, une manipulation réaliste, en particulier chez les humanoïdes, exige souvent d'utiliser tout le bras ou le torse pour porter, stabiliser ou déplacer des objets volumineux, des gestes que les pipelines existants ne peuvent tout simplement pas enregistrer. En rendant le dispositif de démonstration isomorphe au robot cible et en ajoutant une détection tactile répartie au-delà du bout des doigts, TWINS démontre, à petite échelle, qu'un apprentissage par imitation de gestes de manipulation à contact corporel étendu est possible. C'est un signal utile pour les futurs pipelines de données destinés aux humanoïdes appelés à manipuler des charges encombrantes en logistique ou en assistance.

Il s'agit d'un article de recherche académique (soumission arXiv de type "new"), sans mention d'entreprise ni de financement industriel dans le résumé, accompagné d'une page projet dédiée. Le travail s'inscrit dans une vague plus large de systèmes de téléopération pour l'apprentissage par imitation chez les humanoïdes, mais se distingue par son approche isomorphe et sa détection tactile distribuée, un axe encore peu exploré face aux méthodes centrées sur l'effecteur seul. Le résumé ne précise ni le nombre de degrés de liberté ni la charge utile du robot, et seules quatre tâches ont été testées : la généralisation au-delà du laboratoire reste donc à démontrer avant toute perspective de déploiement industriel.

Dans nos dossiers

Exosquelettes arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage en une démonstration pour la manipulation robotique à contacts riches, par identification des interactions physiques

Un preprint publié sur arXiv (arXiv:2608.24741v1, août 2026) présente une méthode de Learning from Demonstration (LfD) qui modélise explicitement les interactions physiques entre un robot et son environnement, notamment la création et la rupture de contact pendant une manipulation. Un contrôleur hybride position-force suit la trajectoire démontrée par un humain jusqu'à ce que les conditions de transition liées au contact, identifiées durant cette démonstration, soient atteintes. La méthode a été validée sur un robot réel via quatre tâches riches en contacts, ouverture de portes et de serrures, prise et vissage de boulons, dégagement d'objets coincés et suivi de contour de surface, chacune apprise à partir d'une seule démonstration et sans connaissance préalable de la tâche. Cette approche tranche avec la tendance dominante de la manipulation robotique, où les modèles vision-langage-action (VLA) à grande échelle exigent des milliers de démonstrations pour généraliser. En rendant explicite la physique du contact plutôt que de la confier à un réseau de neurones opaque, les auteurs visent une interprétabilité rare dans la littérature du LfD, où l'on sait précisément pourquoi et quand le robot change de comportement. Pour des intégrateurs industriels confrontés à des tâches d'assemblage ou de maintenance à forte variabilité géométrique, comme le boulonnage ou le verrouillage, l'intérêt tient à une programmation par démonstration unique, robuste aux variations imprévues et généralisable quand ces variations sont connues à l'avance, ce qui contredit l'idée que seule l'échelle des données garantit une manipulation fiable. Le travail s'inscrit dans un courant du LfD qui, selon les auteurs, néglige généralement la modélisation explicite du contact physique, alors que celui-ci est central dans la plupart des tâches de manipulation réelles. Ils présentent leur contribution comme un moyen de combler cette lacune d'interprétabilité en apprentissage à partir de très peu d'exemples, en détaillant comment robustesse, généralisation et adaptabilité peuvent être implémentées explicitement plutôt que laissées à l'apprentissage statistique. Publié comme preprint non encore évalué par les pairs, sans indication d'institution ni de calendrier de valorisation industrielle, il se positionne comme une contribution méthodologique plutôt qu'un produit, dans un paysage de la manipulation robotique dominé par des modèles fondationnels de type VLA entraînés sur de vastes corpus de démonstrations.

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage cross-modal visuo-tactile avec transformeurs à découpage d'actions pour la manipulation à contacts riches

Une équipe de recherche présente une méthode d'apprentissage par contraste visuo-tactile destinée aux robots manipulateurs confrontés à des tâches nécessitant un contact physique fin. Décrite dans un article publié sur arXiv (arXiv:2602.00514v3, version corrigée), l'approche aligne les images RGB externes et les images tactiles calibrées dans un espace de représentation partagé, via un objectif de type CLIP, puis intègre cette représentation dans une politique d'imitation basée sur un Action Chunking Transformer (ACT). Pour collecter les données, les chercheurs ont conçu un préhenseur visuo-tactile low-cost baptisé LVTG, pensé comme une plateforme modulaire et durable reproductible par d'autres laboratoires. Sur des tâches de manipulation à fort contact, le taux moyen de réussite passe de 30% pour une politique ACT vision seule à 42% avec l'ajout brut de signaux tactiles, puis à 54% grâce au pré-entraînement contrastif proposé. Ce résultat cible un point de friction concret pour l'industrie robotique: les capteurs tactiles produisent des signaux image-like, dépendants du matériel et faiblement corrélés aux flux visuels externes, ce qui rend leur exploitation directe peu efficace dans les politiques d'apprentissage par imitation. En démontrant qu'un alignement explicite entre modalités visuelle et tactile surpasse un simple ajout brut du signal tactile, l'étude apporte un argument empirique en faveur du pré-entraînement contrastif comme brique standard pour les politiques de manipulation fine, un enjeu direct pour les intégrateurs travaillant sur l'assemblage, l'insertion ou la préhension d'objets déformables. Le gain de 12 points entre ajout naïf et approche alignée reste toutefois mesuré sur un jeu de tâches limité, propre à un article de recherche, et ne présage pas encore d'un déploiement industriel. Le travail s'inscrit dans une lignée de recherches cherchant à combler l'écart entre la richesse des retours tactiles et leur faible exploitation réelle dans les politiques de contrôle robotique, un problème identifié depuis plusieurs années en robotique manipulative et exacerbé par l'hétérogénéité du matériel tactile disponible. Le choix d'un capteur low-cost et modulaire (LVTG) vise explicitement la reproductibilité, un critère souvent absent des travaux utilisant des capteurs tactiles propriétaires coûteux. L'article ne mentionne pas de partenariat industriel ni de calendrier de transfert vers un produit commercial: il s'agit à ce stade d'une contribution méthodologique et matérielle destinée à la communauté de recherche en apprentissage par imitation, sans acteur français ou européen identifié dans cette publication.

RecherchePaper

1 source

3arXiv cs.RO

N₀-TWAM : passage à l'échelle d'un modèle monde-action tactile natif pour la manipulation à contacts riches

Des chercheurs présentent N0-TWAM, un modèle monde-action "tactile natif" conçu pour la manipulation robotique dans des tâches à contact riche, capable de prédire à la fois l'image future et le contact physique futur. Selon les auteurs, il s'agirait du premier modèle monde-action tactile entraîné à grande échelle, une affirmation à prendre avec la prudence habituelle pour ce type de papier arXiv (2607.23783, non encore relu par les pairs). Le pré-entraînement combine vision et tactile sur des démonstrations couvrant six morphologies de robots différentes et 450 tâches. Le système s'appuie sur NeoForce, une représentation tactile unifiée basée sur la force, censée fournir un signal de contact physiquement ancré pour guider la génération d'actions. Pour gérer les tâches longues et multi-étapes, les auteurs introduisent des "événements de contact tactile" qui marquent la progression d'une étape à l'autre. Côté architecture, un Mixture-of-Transformers asymétrique associe un expert large pour la prédiction vidéo à des experts plus légers pour l'action et le tactile, dans un souci d'efficacité temps réel. Le modèle a été évalué sur des benchmarks réels et simulés, et le code ainsi que les poids seront publiés en open source. L'enjeu dépasse la simple prouesse technique. Les modèles vision-langage-action actuels, de π0 à GR00T N2 en passant par Helix, reposent presque exclusivement sur la vision, ce qui explique une bonne partie de leurs échecs sur les tâches fines de contact : insertion de pièces, préhension d'objets déformables, assemblage. Un modèle qui démontre un gain mesurable grâce au passage à l'échelle des données tactiles apporterait un signal utile pour les intégrateurs industriels confrontés à ce fossé entre démonstration en vidéo et fiabilité en production. Le manque de jeux de données tactiles standardisés à grande échelle est resté un frein connu du secteur, contrairement à la vision où les corpus type RT-X abondent. En couvrant six embodiments, N0-TWAM s'inscrit dans cette logique de généralisation multi-robots. La publication annoncée du code et des checkpoints permettra à la communauté de vérifier ces résultats et d'évaluer si l'approche tient face à des déploiements réels sur des tâches d'assemblage ou de manipulation fine.

RecherchePaper

1 source

4arXiv cs.RO

Représentation Alignée pour l'Ancrage Tactile en Manipulation Robotique à Contact Riche

Le capteur tactile reste le parent pauvre des politiques vision-langage-action (VLA) pour la manipulation robotique, alors que les phases de contact critiques (préhension, insertion, glissement) échappent souvent à la caméra. Une équipe de recherche propose dans un article publié sur arXiv (2607.14609) une méthode pour mieux exploiter le toucher: au lieu de prédire directement le signal tactile brut, souvent bruité, le système apprend à anticiper de futurs états tactiles à partir des représentations internes du modèle. Par une analyse en sonde linéaire (linear probe), les chercheurs montrent que ce sont les caractéristiques intermédiaires de l'expert en action, la partie du réseau qui traduit une décision en mouvement, qui prédisent le mieux l'état tactile futur, bien mieux que les couches de perception vision-langage ou que l'état d'action final. Sur cette base, ils introduisent le Latent Tactile Predictor (LTP), un module léger qui prédit des embeddings tactiles compacts à partir de cette couche intermédiaire plutôt que le signal tactile brut. Des expériences sur des tâches de manipulation réelles à fort contact confirment que cet alignement représentationnel surpasse les approches de prédiction tactile moins ciblées ou multi-interfaces. Cette contribution touche à un point sensible du secteur robotique: la plupart des politiques VLA actuelles (Pi-0, GR00T N2, Helix) reposent presque exclusivement sur la vision et le langage, avec un toucher traité comme un canal secondaire greffé après coup. Montrer qu'il existe un endroit précis, dans l'architecture, où la supervision tactile est réellement utile change la manière de concevoir ces modèles multimodaux: cela suggère que brancher un capteur tactile n'importe où dans le réseau, sans réflexion sur l'alignement des représentations, gaspille l'information. Pour les intégrateurs travaillant sur des tâches à contact fin, assemblage, insertion de connecteurs, manipulation d'objets déformables, c'est un signal que la robustesse ne viendra pas seulement de plus de données mais d'une meilleure architecture de fusion des modalités. Le travail s'inscrit dans la lignée des VLA tactiles apparus ces deux dernières années pour combler l'angle mort de la seule vision. L'article ne détaille pas de déploiement industriel ni de partenariat avec un fabricant de robots, il s'agit d'une contribution de recherche fondamentale destinée à orienter la conception des futures générations de politiques VLA plutôt qu'un produit prêt à l'emploi.

RechercheActu

1 source