RecherchearXiv cs.RO 18 août 2026

ViHaTeleop : un système de téléopération visuo-haptique léger et à faible coût pour l'apprentissage de la manipulation dextérique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent ViHaTeleop, un système de téléopération visuo-haptique pour l'apprentissage par démonstration en manipulation dexterous. Leger (0,7 kg) et peu couteux (550 dollars), il combine suivi du poignet par SLAM, suivi de la main par camera, et retour vibrotactile par doigt via des actionneurs a résonance linéaire, avec éclairage LED intègre, camera fisheye dédiée et contraintes de retargeting sensibles au contact. Deploye sur un bras Franka équipe d'une main LEAP et d'un capteur tactile 9DTact, en réel comme en simulation, il a été teste auprès de neuf participants sur six taches a fort contact, avec et sans retour haptique. Resultat: le taux de réussite progresse de 2,2 a 15,6 points de pourcentage dans toutes les taches, l'effet sur le temps d'exécution variant selon la tache, et les utilisateurs rapportent une clarté de contact et une confiance de préhension significativement meilleures (test de Wilcoxon, p<0,05). Un proxy tactile base sur camera de profondeur, intègre dans Isaac Sim, permet aussi d'entrainer des politiques visuo-tactiles a partir des démonstrations collectées, avec un gain de 17 points sur une tache d'insertion de cheville (peg-in-hole) par rapport a une politique uniquement visuelle.

Ce travail cible un goulot d'étranglement connu de l'apprentissage par démonstration: le matériel de téléopération bon marche capture mal les interactions de contact fin, ce qui dégradé la qualité des données servant a entrainer des politiques de manipulation, y compris les modèles vision-langage-action déployés a plus grande échelle. En montrant qu'un retour haptique a faible cout améliore a la fois la téléopération humaine et la politique entraînée en aval, l'étude plaide pour intégrer systématiquement le tactile dans les pipelines de collecte de données plutôt que de reposer sur la seule vision. A 550 dollars, bien en dessous des systèmes haptiques industriels, l'approche pourrait devenir accessible a un plus grand nombre de laboratoires et d'intégrateurs travaillant sur la manipulation fine, la ou l'écart entre démonstrations en laboratoire et robustesse en conditions réelles demeure large.

ViHaTeleop s'inscrit dans les travaux récents sur la téléopération a bas cout pour l'apprentissage par imitation, motives par la difficulté de collecter des démonstrations de qualité pour des taches fines sans matériel haptique onéreux. Publie en preprint sur arXiv (2608.16572v1), le système reste un prototype de recherche valide en laboratoire sur des taches contrôlées, et non un produit commercialise ou déployé en production. Aucun acteur français ou européen n'apparait dans l'étude, dont les auteurs ne précisent ni calendrier de diffusion open-source du matériel et du code, ni suite annoncee au-delà de cette validation préliminaire.

Dans nos dossiers

IA physique & VLA NVIDIA Isaac & Cosmos arXiv cs.RO

À lire aussi

1arXiv cs.RO

ReForce : apprentissage du retargeting sensible à la force pour la manipulation dextérique

Une équipe de recherche a publié le 18 août 2026 sur arXiv (référence 2608.15560v1) une méthode baptisée ReForce, conçue pour la manipulation dextre par robot à partir de démonstrations humaines. Le problème visé est le suivant: les pipelines de retargeting (transfert des mouvements humains vers un bras ou une main robotique) restent aujourd'hui essentiellement cinématiques, c'est-à-dire qu'ils copient les trajectoires et postures sans tenir compte des forces de contact, alors que ce sont ces forces qui déterminent la réussite ou l'échec d'une prise en main. ReForce ajoute un résidu de force au-dessus du mouvement retargeté classiquement, calculé par un "force tracker" générique entraîné sur un grand volume d'interactions simulées. La méthode fonctionne en deux modes: téléopération en ligne avec retour de force, et traduction hors ligne de jeux de données de démonstration déjà enregistrés. Les tests, menés à la fois en simulation et sur du matériel réel, portent sur des tâches réputées difficiles car riches en contacts fins: la saisie d'un gobelet en papier et la manipulation de pinces (tongs). Les auteurs rapportent une erreur de suivi de force réduite et un engagement multi-doigts plus stable que les approches purement cinématiques. Pour l'industrie robotique, l'enjeu dépasse le simple gain de précision: la collecte de démonstrations humaines à grande échelle est devenue le principal levier pour entraîner des politiques de manipulation dextre, y compris pour les modèles vision-langage-action. Si le retargeting cinématique ignore la force, les données transmises aux modèles encodent des gestes visuellement corrects mais mécaniquement approximatifs, ce qui explique en partie pourquoi certaines démonstrations impressionnantes en vidéo échouent lors d'un déploiement réel sur objets fragiles, déformables ou glissants. En introduisant un modèle de force générique et transférable, ReForce propose une brique technique susceptible d'améliorer la qualité des jeux de données de téléopération en amont, plutôt que de complexifier uniquement le modèle final. Il s'agit d'une contribution académique en preprint, sans entreprise ni produit commercial associé, à distinguer des annonces de Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix), qui portent sur des modèles de bout en bout déployés ou pilotés en conditions réelles. ReForce se positionne en amont de ces systèmes, sur la brique de collecte et de conversion de données de démonstration. L'abstract ne mentionne ni publication de code, ni jeu de données ouvert, ni calendrier de déploiement industriel: les deux tâches testées, prise de gobelet et manipulation de pinces, servent de preuve de concept plutôt que de benchmark étendu, la validation à plus grande échelle restant à faire.

RecherchePaper

1 source

2arXiv cs.RO

Un cadre de téléopération bilatérale pour la manipulation dextérique

Une équipe de chercheurs publie, dans un preprint arXiv déposé en juin 2026 (arXiv:2606.15434), un système modulaire de téleopération bilatérale conçu pour la manipulation dextre en environnements réels à fort contact. L'architecture proposée couple une interface côté opérateur à un bras robotique compliant et à une main mécanique dextre côté robot, dans une boucle de contrôle unifiée. Quatre fonctionnalités centrales sont documentées : le retargeting de posture de main par positions (adaptation des commandes d'une main humaine vers une main robotique de morphologie différente), la commande différentielle du bras, le retour haptique multi-échelle, et un mécanisme de contrôle partagé pour stabiliser les phases de manipulation en contact. Le framework est validé sur une tâche réelle de manipulation dextre, sans que les métriques de performance - latence, temps de cycle, taux de succès - ne soient communiquées dans le résumé public disponible. L'intérêt principal de ce travail pour les équipes de recherche et les intégrateurs ne réside pas dans les performances brutes du système de téleopération lui-même, mais dans sa vocation déclarée de plateforme de collecte de démonstrations haute qualité pour l'apprentissage par imitation (learning from demonstration). À l'heure où les architectures VLA (Vision-Language-Action) - comme pi0 de Physical Intelligence ou GR00T N2 de NVIDIA - exigent des datasets massifs de trajectoires expertes en manipulation fine, la qualité du pipeline de collecte devient un goulot d'étranglement critique. Les auteurs identifient aussi trois problèmes de conception restant ouverts : le mismatch cross-embodiment (écart morphologique entre la main de l'opérateur et celle du robot), la granularité du retour haptique, et le dosage optimal du contrôle partagé. Ce framework s'inscrit dans une tendance de fond visant à standardiser l'infrastructure de collecte de données téléopérées, dans la lignée du système ALOHA de Stanford ou de la plateforme UMI. Les acteurs européens comme Enchanted Tools (France) ou les équipes robotique de l'INRIA travaillent sur des problématiques similaires de couplage haptique et de retargeting pour la manipulation fine. Ce preprint ne présente pas de chiffres de déploiement ni de partenariats industriels annoncés : il s'agit d'une contribution académique amont, dont la suite logique serait la publication d'un dataset de démonstrations et de benchmarks comparatifs sur des tâches de manipulation standardisées.

UELes équipes françaises (Enchanted Tools, INRIA) travaillent sur des problématiques similaires de couplage haptique et de retargeting, ce framework pourrait alimenter leurs pipelines de collecte de démonstrations pour entraîner des modèles VLA.

RecherchePaper

1 source

3arXiv cs.RO

TWINS : un système bras isomorphique portable à retour tactile en réseau pour l'apprentissage de la manipulation à contacts riches

TWINS (Tactile Wearable Isomorphic Arm Networked System) est un système robotique présenté dans un article publié sur arXiv (2608.01733v1) et conçu pour l'apprentissage de tâches de manipulation impliquant un contact avec la surface du corps du robot, et pas seulement avec ses pinces. Le système repose sur deux éléments : un dispositif bras double porté par l'opérateur humain, et un robot isomorphe reproduisant exactement la même configuration articulaire et les mêmes dimensions externes. Des capteurs tactiles distribués, intégrés au niveau du torse et des bras, mesurent en continu le contact avec la surface du corps, synchronisé avec le mouvement des articulations. À l'aide du dispositif porté, les chercheurs ont collecté des démonstrations pour quatre tâches de manipulation impliquant ce type de contact corporel. Des politiques d'apprentissage par imitation ont ensuite été entraînées sur ces données puis déployées sur le robot isomorphe, permettant une exécution autonome guidée par les retours tactiles du torse et des bras. L'intérêt de TWINS tient à un angle mort connu des pipelines actuels de collecte de données : la plupart des systèmes de téléopération (gants, manettes VR, exosquelettes) ne capturent que les trajectoires de l'effecteur terminal, ce qui limite les robots à des tâches de préhension et de dépose. Or, une manipulation réaliste, en particulier chez les humanoïdes, exige souvent d'utiliser tout le bras ou le torse pour porter, stabiliser ou déplacer des objets volumineux, des gestes que les pipelines existants ne peuvent tout simplement pas enregistrer. En rendant le dispositif de démonstration isomorphe au robot cible et en ajoutant une détection tactile répartie au-delà du bout des doigts, TWINS démontre, à petite échelle, qu'un apprentissage par imitation de gestes de manipulation à contact corporel étendu est possible. C'est un signal utile pour les futurs pipelines de données destinés aux humanoïdes appelés à manipuler des charges encombrantes en logistique ou en assistance. Il s'agit d'un article de recherche académique (soumission arXiv de type "new"), sans mention d'entreprise ni de financement industriel dans le résumé, accompagné d'une page projet dédiée. Le travail s'inscrit dans une vague plus large de systèmes de téléopération pour l'apprentissage par imitation chez les humanoïdes, mais se distingue par son approche isomorphe et sa détection tactile distribuée, un axe encore peu exploré face aux méthodes centrées sur l'effecteur seul. Le résumé ne précise ni le nombre de degrés de liberté ni la charge utile du robot, et seules quatre tâches ont été testées : la généralisation au-delà du laboratoire reste donc à démontrer avant toute perspective de déploiement industriel.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage de politiques ancrées en simulation pour la manipulation bimanuelle de corde à partir de données de téléopération humaine

Une équipe de recherche publie sur arXiv (ref. 2605.16043) une étude comparative sur la manipulation bimanuelle de cordes par robot, en se concentrant sur la tâche de démêlage de nœuds. Les chercheurs ont entraîné deux politiques de contrôle basées sur le framework ACT (Action Chunking with Transformers) à partir des mêmes données de télé-opération humaine : la première reçoit en entrée deux flux vidéo RGB provenant de caméras montées sur les poignets du robot, la seconde utilise un état 3D particulaire de la corde, extrait par fusion multi-vues puis propagé dans un simulateur xPBD (eXtended Position-Based Dynamics). Évaluée en boucle ouverte sur une configuration de corde inédite, la politique à base d'état réduit l'erreur L1 de 30,8 % sur l'action initiale de saisie et de traction, par rapport à son homologue visuelle. Ce résultat isole une cause souvent sous-estimée des échecs de généralisation en apprentissage par imitation : non pas l'architecture du réseau ni le volume de données, mais l'espace d'observation lui-même. Les objets linéaires déformables (DLO) comme les câbles et les cordes posent un problème d'auto-occultation fréquente sous caméra ego-centrique, rendant la perception purement visuelle peu robuste sur des configurations non vues à l'entraînement. En ancrant la représentation dans un état physique cohérent simulé par xPBD, les chercheurs comblent partiellement ce "gap d'observabilité" entre pixels bruts et état mécanique réel, ouvrant la voie à un apprentissage plus efficace en données depuis un faible nombre de démonstrations humaines. La manipulation de DLOs est un problème ouvert de longue date en robotique, car leur espace de configuration est théoriquement infini-dimensionnel. L'approche par télé-opération bimanuelle est bien établie depuis les travaux sur ACT (Stanford/Berkeley, 2023), mais sa dépendance à de grands volumes de données limite la scalabilité industrielle. Cette étude s'inscrit dans un courant qui cherche à compenser le manque de données par une meilleure structure de représentation, comparable aux travaux sur les VLA (Vision-Language-Action models) mais ici centré sur la physique plutôt que le langage. Les prochaines étapes naturelles incluent la validation en boucle fermée et l'évaluation sur des câbles industriels, contexte où des acteurs comme Cobot Systems ou des labos européens spécialisés câblage automobile pourraient trouver un intérêt direct.

UEImpact indirect : les équipementiers et laboratoires européens spécialisés dans le câblage automobile pourraient exploiter cette approche pour réduire le volume de données de téléopération requis, un goulot d'étranglement réel dans ce secteur.

RecherchePaper

1 source