RecherchearXiv cs.RO 16 juin 2026

Un cadre de téléopération bilatérale pour la manipulation dextérique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie, dans un preprint arXiv déposé en juin 2026 (arXiv:2606.15434), un système modulaire de téleopération bilatérale conçu pour la manipulation dextre en environnements réels à fort contact. L'architecture proposée couple une interface côté opérateur à un bras robotique compliant et à une main mécanique dextre côté robot, dans une boucle de contrôle unifiée. Quatre fonctionnalités centrales sont documentées : le retargeting de posture de main par positions (adaptation des commandes d'une main humaine vers une main robotique de morphologie différente), la commande différentielle du bras, le retour haptique multi-échelle, et un mécanisme de contrôle partagé pour stabiliser les phases de manipulation en contact. Le framework est validé sur une tâche réelle de manipulation dextre, sans que les métriques de performance - latence, temps de cycle, taux de succès - ne soient communiquées dans le résumé public disponible.

L'intérêt principal de ce travail pour les équipes de recherche et les intégrateurs ne réside pas dans les performances brutes du système de téleopération lui-même, mais dans sa vocation déclarée de plateforme de collecte de démonstrations haute qualité pour l'apprentissage par imitation (learning from demonstration). À l'heure où les architectures VLA (Vision-Language-Action) - comme pi0 de Physical Intelligence ou GR00T N2 de NVIDIA - exigent des datasets massifs de trajectoires expertes en manipulation fine, la qualité du pipeline de collecte devient un goulot d'étranglement critique. Les auteurs identifient aussi trois problèmes de conception restant ouverts : le mismatch cross-embodiment (écart morphologique entre la main de l'opérateur et celle du robot), la granularité du retour haptique, et le dosage optimal du contrôle partagé.

Ce framework s'inscrit dans une tendance de fond visant à standardiser l'infrastructure de collecte de données téléopérées, dans la lignée du système ALOHA de Stanford ou de la plateforme UMI. Les acteurs européens comme Enchanted Tools (France) ou les équipes robotique de l'INRIA travaillent sur des problématiques similaires de couplage haptique et de retargeting pour la manipulation fine. Ce preprint ne présente pas de chiffres de déploiement ni de partenariats industriels annoncés : il s'agit d'une contribution académique amont, dont la suite logique serait la publication d'un dataset de démonstrations et de benchmarks comparatifs sur des tâches de manipulation standardisées.

Impact France/UE

Les équipes françaises (Enchanted Tools, INRIA) travaillent sur des problématiques similaires de couplage haptique et de retargeting, ce framework pourrait alimenter leurs pipelines de collecte de démonstrations pour entraîner des modèles VLA.

Dans nos dossiers

Enchanted Tools — Mirokaï NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

M3-Tele : un cadre unifié de téléopération multimodale pour la manipulation mobile souple du corps entier

Des chercheurs présentent M3-Tele, un framework unifié de téléopération multimodale conçu pour la manipulation mobile à corps entier avec conformité physique, décrit dans un article déposé sur arXiv (identifiant 2609.07859, version 2, publiée en tant que remplacement d'une version antérieure). Le système capture simultanément des observations visuelles, tactiles, de force et proprioceptives alignées pendant l'exécution de tâches à fort contact physique. Les expériences rapportées montrent que le contrôleur proposé réduit l'erreur de suivi de force de 4,132 N à 0,346 N, fait chuter les pertes de contact de 2,46 à 0,02 événement par essai, et diminue l'erreur de déformation tactile de 65 %. Des études utilisateurs menées sur quatre tâches de manipulation mobile ont également été conduites pour évaluer la fiabilité et l'ergonomie du système. Des expériences complémentaires avec une politique de diffusion (Diffusion Policy) ont par ailleurs été réalisées pour tester la valeur ajoutée du couplage entre détection tactile et détection de force. Ces résultats s'adressent directement à un problème connu dans la robotique de manipulation par apprentissage : la qualité des démonstrations collectées par téléopération conditionne directement la performance des politiques entraînées en aval. Les frameworks de téléopération existants négligent souvent l'articulation conjointe entre perception multimodale et coordination du corps entier, ce qui dégrade la richesse et la fiabilité des données de contact recueillies. En démontrant qu'une meilleure régulation de la conformité physique et de la coordination multimodale améliore mesurablement le suivi de force et réduit les pertes de contact, l'étude apporte un argument concret en faveur de pipelines de collecte de données plus rigoureux avant l'entraînement de politiques, un enjeu central pour les équipes qui développent des politiques de manipulation apprises par imitation pour des tâches industrielles à fort contact. Le travail s'inscrit dans un contexte de recherche où l'apprentissage de politiques par imitation, via des approches comme Diffusion Policy, dépend de plus en plus de la qualité des démonstrations humaines télé-opérées plutôt que de la seule quantité. Il ne s'agit pas d'un produit commercial ni d'un déploiement industriel, mais d'une contribution méthodologique testée en conditions expérimentales contrôlées, avec des utilisateurs humains évaluant le système sur des tâches définies en laboratoire. Le fait qu'il s'agisse d'une version 2 d'un article déjà soumis suggère une itération après retours, sans que les auteurs, l'institution ou une feuille de route de déploiement ne soient précisés dans le résumé disponible.

RecherchePaper

1 source

2arXiv cs.RO

Un bout dextérique tactile durable pour la manipulation robotique

Une équipe de chercheurs décrit, dans une prépublication arXiv du 26 août 2026, un embout de doigt tactile robotique à vision conçu pour résister à l'usure, point faible connu des capteurs commerciaux. Il associe un gel de silicone souple, un film protecteur en polyuréthane thermoplastique (TPU) texturé et non pigmenté, et une cartouche de détection remplaçable. Deux tests accélérés ont mesuré sa durabilité : un ponçage sur tambour rotatif, et une sonde répétitive appliquant 39,2 N (4,0 kgf) à 45 cycles par minute. Le film protecteur du nouveau capteur a cédé après 2 à 3 heures de ponçage, tandis que les neuf exemplaires testés sous charge répétitive restaient tous fonctionnels à l'arrêt des essais : sept après 5 jours, un après 6 jours, un après 8 jours. Les capteurs commerciaux GelSight Mini et DIGIT, eux, ont vu leur film se rompre après seulement 24 à 30 secondes de ponçage et 25 à 35 minutes de charge répétitive. La dégradation du nouveau capteur restait progressive, sans gêner l'imagerie tactile. Cette amélioration de plus de deux ordres de grandeur, obtenue dans des conditions de vieillissement accéléré définies par les auteurs eux-mêmes, vise un angle mort de la manipulation robotique : les capteurs tactiles à vision comme GelSight ou DIGIT livrent une image de contact riche mais s'usent vite sous charges concentrées et frottements répétés, ce qui freine leur usage hors laboratoire. Pour les intégrateurs qui veulent faire passer la préhension robotisée de la démonstration au déploiement industriel, une cartouche remplaçable plutôt qu'un capteur à jeter pèse autant sur le coût total de possession que la résolution du signal tactile. Ces chiffres restent toutefois issus de protocoles de laboratoire propres à l'étude, et non d'une validation en usage prolongé sur un bras ou une main robotique en production. GelSight, issu de recherches du MIT, et DIGIT, le capteur tactile ouvert développé par Meta AI, sont devenus des références de facto pour la recherche en préhension et en manipulation fine ; l'usure rapide de leur film de silicone freine depuis longtemps leur adoption au-delà des bancs d'essai académiques, notamment pour des tâches répétitives de tri ou d'assemblage visées par les mains robotiques humanoïdes actuellement en développement. La prépublication ne mentionne aucun partenariat industriel ni calendrier de commercialisation : il s'agit à ce stade d'une validation en laboratoire, dont la suite logique serait un essai en conditions réelles sur un bras ou une main robotique en fonctionnement continu, avant toute intégration dans un produit commercial.

RecherchePaper

1 source

3arXiv cs.RO

LocoPilot : téléopération bilatérale par un seul opérateur pour l'apprentissage de politiques de locomanipulation

LocoPilot, publié sur arXiv par le laboratoire DLS de l'IIT (Istituto Italiano di Tecnologia), est un cadre de téléopération bilatérale à opérateur unique, conçu pour collecter des démonstrations de loco-manipulation directement sur le robot cible. La plateforme repose sur un quadrupède Unitree Go2 (12 DOF) équipé d'un bras AgileX Piper L à 6 DOF, d'une caméra de poignet Intel RealSense D435 et d'une caméra de tête RealSense D405. Un second bras Piper L sert de bras maître, et deux manettes portatives pilotent simultanément la base, la posture du corps, le manipulateur et la pince. Un pipeline ROS 2 enregistre des observations multimodales synchronisées, associées à une action unifiée de dimension 11, partagée entre téléopération et déploiement de politique. Les auteurs ont évalué l'interface sur plusieurs tâches de loco-manipulation, puis fait du fine-tuning de MolmoAct2 sur des démonstrations de pick-and-place. Le modèle a été déployé sur le robot réel sans retargeting d'actions ni cinématique inverse supplémentaire. Le code est publié sur GitHub. L'intérêt tient à la manière dont le système traite un problème récurrent de l'apprentissage de politiques mobiles : les interfaces sans robot, comme les dispositifs portables, sont flexibles mais ne capturent ni les commandes propres à la plateforme, ni la proprioception, ni les observations embarquées. À l'inverse, la téléopération sur robot enregistre ces signaux, mais exige une interface capable de piloter tout le système en même temps. LocoPilot y répond avec un retour d'effort sans capteur force/couple dédié : les forces d'interaction du bras suiveur sont estimées, puis restituées à l'opérateur par un canal haptique contraint en passivité. Le système évite aussi l'instrumentation par capture de mouvement, qui limite le déploiement hors laboratoire. Le fait que la même interface d'action serve à la collecte et à l'inférence supprime une source classique d'erreurs de transfert. Il faut toutefois rester prudent : le résumé ne fournit ni taux de réussite, ni nombre de démonstrations, ni comparaison chiffrée avec d'autres interfaces. La validation de bout en bout reste donc à confirmer dans le texte complet. Ce travail s'inscrit dans la course aux données pour les politiques vision-langage-action (VLA) appliquées à la manipulation mobile, où s'opposent les approches sans robot et celles qui collectent sur la plateforme réelle. Le choix de MolmoAct2, modèle ouvert, et de composants matériels grand public (Go2, Piper L, RealSense) vise la reproductibilité par d'autres laboratoires, par opposition aux pipelines propriétaires des acteurs industriels. Il s'agit d'une contribution de recherche, sans produit ni calendrier commercial annoncé. La suite probable passerait par des évaluations plus larges, une comparaison avec d'autres VLA, et une extension à des tâches plus longues ou plus riches en contacts.

UELes auteurs relèvent de l'IIT, un institut italien, et le code est ouvert, ce qui permet aux laboratoires européens de reproduire la collecte de données de loco-manipulation.

RecherchePaper

1 source

4arXiv cs.RO

Un modèle de représentation universel pour la manipulation dextérique unifiée

Une équipe de chercheurs propose OHRA (One Hand to Rule Them All), un cadre de représentation canonique paramétrisée visant à unifier les politiques de manipulation dextère sur des mains robotiques de morphologies très différentes. Constat de départ : les politiques d'apprentissage actuelles supposent une architecture de main fixe et ne se transfèrent pas sans réentraînement complet. Le système combine un espace de paramètres unifié capturant les variations cinématiques et morphologiques essentielles, et un format URDF canonique standardisant l'espace d'action tout en préservant les propriétés dynamiques de chaque main d'origine. Un VAE (Variational Autoencoder) est entraîné sur cet espace pour produire un plongement latent compact et sémantiquement cohérent. Résultat clé : la politique de préhension conditionnée sur cette représentation atteint 81,9 % de succès en transfert zéro-shot sur une LEAP Hand à 3 doigts, morphologie non vue pendant l'entraînement, validée en simulation et sur tâches réelles. L'enjeu est directement industriel : la fragmentation des designs de mains, Shadow Robotics, LEAP, Allegro, Ability Hand, rend les politiques non portables d'un hardware à l'autre. Un cadre partagé permettrait à un intégrateur de réentraîner une politique existante sur un nouveau manipulateur sans repartir de zéro, comprimant les coûts de déploiement. Le score de 81,9 % en zéro-shot sur une configuration inédite est un signal mesurable que le "morphology gap", l'analogue du sim-to-real gap appliqué aux architectures de mains, commence à être adressé. Le fait que les interpolations dans l'espace latent produisent des transitions morphologiques physiquement cohérentes indique que le VAE capture une géométrie fonctionnelle, pas seulement statistique. Ce travail s'inscrit dans la dynamique plus large de l'apprentissage cross-embodiment, aux côtés de travaux comme UniDexGrasp, DexGraspNet ou les approches fondées sur des VLA (Vision-Language-Action models). Sur le plan concurrentiel, Google DeepMind, Physical Intelligence (Pi-0) et Unitree investissent dans des politiques généralisables, mais l'angle "unification par représentation canonique de la morphologie de main" reste peu exploré industriellement. Les suites naturelles incluent l'extension à la manipulation bimanuelle, aux mains à plus de 5 doigts, et l'intégration dans des pipelines de téléopération. Aucun déploiement commercial ni partenariat industriel n'est annoncé à ce stade.

RecherchePaper

1 source