Aller au contenu principal
WinDEX : reconstruction métrique 3D des mouvements de la main en conditions réelles pour la téléopération dextérique et l'apprentissage de politiquesIllustration générée par IA
RecherchearXiv cs.RO 

WinDEX : reconstruction métrique 3D des mouvements de la main en conditions réelles pour la téléopération dextérique et l'apprentissage de politiques

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs présentent WinDEX, un système de reconstruction métrique en 3D des mouvements de la main à partir de vidéos égocentriques stéréo capturées en conditions réelles, destiné à la téléopération dextre et à l'apprentissage de politiques robotiques. Le dispositif combine une optimisation géométrico-temporelle pour annoter les mains en échelle métrique, associée à un SLAM visuo-inertiel pour situer les mouvements dans le référentiel du monde. Il repose sur WinDEX-Net, un réseau de bout en bout conçu nativement pour les optiques fisheye, qui exploite une stéréo calibrée, les détails locaux et le contexte temporel. Un cycle d'amélioration continue (annotation assistée par le modèle, puis réentraînement) alimente le tout. Des versions distillées servent à la reconstruction hors ligne, à 43,61 images par seconde, et au streaming causal, à 171 images par seconde. Le matériel de capture, baptisé CyberCap, est un boîtier stéréo-inertiel bas coût. Il a permis de constituer le jeu de données WinDEX-Hand, avec 1 000 heures d'annotations d'entraînement, ainsi que des jeux d'évaluation : 2D annotés manuellement en conditions réelles et motion capture optique indépendante. Sur données de test, l'erreur de reprojection atteint 14,5 pixels en conditions réelles, et l'erreur articulaire dans le référentiel monde 37,29 mm avec odométrie visuo-inertielle.

L'intérêt tient à l'un des goulots d'étranglement de la manipulation dextre : les démonstrations humaines sont abondantes, mais leur conversion en références de mouvement exploitables par un robot exige une échelle métrique fiable, une latence faible et un matériel de collecte peu coûteux. Les auteurs affirment que les politiques d'apprentissage par renforcement entraînées avec leurs références atteignent des taux de réussite 7,6 fois supérieurs à ceux obtenus avec WiLoR et 3,6 fois supérieurs à ceux obtenus avec HaWoR. Si ces ratios se confirment, la qualité de la reconstruction pèse directement sur la performance des politiques, ce qui plaide pour l'investissement dans les données plutôt que dans les seuls modèles. Le débit de 171 images par seconde en mode causal rend aussi plausible une téléopération bras-main en temps réel, démontrée par l'équipe, utile pour collecter des démonstrations robotiques sans gants instrumentés coûteux. Il faut toutefois rester prudent : une erreur de 37 mm sur les articulations dans le référentiel monde reste sensible pour des tâches de précision, et les ratios de succès dépendent des tâches et des conditions de simulation choisies par les auteurs, que la publication ne permet pas de juger de l'extérieur.

Ce travail s'inscrit dans la course aux données de manipulation humaine, qui oppose les approches par gants ou exosquelettes, la téléopération robotique et la capture vidéo en conditions réelles. WiLoR et HaWoR, les références utilisées pour la comparaison, souffrent selon les auteurs d'une reconstruction métrique limitée et d'une généralisation fragile hors laboratoire. Les travaux sur les VLA et les politiques humanoïdes, comme Pi-0 ou GR00T, dépendent de plus en plus de ce type de données humaines à grande échelle, d'où l'enjeu de les produire à bas coût. Il s'agit ici d'un préprint arXiv, non évalué par les pairs, qui annonce un site de projet mais aucune commercialisation ni déploiement industriel. La suite à surveiller sera la publication effective du jeu de données et du matériel CyberCap, ainsi que la reproduction des résultats par des tiers sur des mains robotiques réelles.

À lire aussi

LAMP : apprentissage guidé par un a priori de mouvement latent pour la manipulation dextérique en conditions réelles
Illustration générée par IA
1arXiv cs.RO 

LAMP : apprentissage guidé par un a priori de mouvement latent pour la manipulation dextérique en conditions réelles

Les chercheurs à l'origine de LAMP (Latent Motion Prior-Guided Real-World Learning) proposent une méthode d'apprentissage en trois étapes pour piloter des mains robotiques dexterous directement dans le monde réel, sans passer par la simulation. Le système commence par pré-entraîner un module de "prior de mouvement latent", qui compresse l'historique récent des actions de la main en une représentation compacte et décodable en commandes exécutables à haute dimension. Une politique visuomotrice est ensuite entraînée pour prédire à la fois les commandes natives du bras et des corrections latentes pour la main, avant d'être affinée par apprentissage par renforcement (RL) résiduel en ligne, directement sur le robot physique. Testée sur quatre tâches réelles de manipulation dexterous, la méthode atteint un taux de réussite moyen de 56,25% après la seule phase d'imitation, porté à 98,75% après le RL en ligne, avec 100% de réussite sur trois des quatre tâches et 95% sur la dernière. L'enjeu dépasse la simple performance chiffrée: l'apprentissage de mains robotiques à haute dimensionnalité (nombreux degrés de liberté par doigt) est historiquement instable, car la moindre erreur d'imitation s'amplifie et pousse l'exploration par renforcement à casser le contact avec l'objet manipulé, un risque direct pour du matériel physique coûteux. En contraignant l'exploration RL à rester proche de mouvements démontrés et cohérents en termes de contact, plutôt que de perturber chaque articulation indépendamment, LAMP répond à un vrai goulot d'étranglement pour les intégrateurs qui veulent déployer de la manipulation fine (préhension d'objets fragiles, assemblage) sans multiplier les cycles de simulation coûteux ni les casses de vérins. Le travail s'inscrit dans la lignée des approches hybrides imitation + RL déjà explorées pour la robotique, mais cible spécifiquement l'espace d'action des mains dexterous, comparé ici à des interfaces d'action brutes, linéaires et discrètes, que LAMP surpasse selon les auteurs. Publié sur arXiv début juillet 2026, ce travail reste à ce stade une contribution de recherche académique, sans acteur industriel ni date de commercialisation annoncée; sa validation sur davantage de tâches et de plateformes matérielles reste l'étape logique suivante.

RecherchePaper
1 source
Apprentissage par renforcement en conditions réelles avec échafaudage MPC pour la manipulation dextérique
Illustration générée par IA
2arXiv cs.RO 

Apprentissage par renforcement en conditions réelles avec échafaudage MPC pour la manipulation dextérique

Une nouvelle méthode d'apprentissage par renforcement (RL) entraînée directement sur un robot physique, sans simulation préalable ni démonstrations humaines, a été détaillée dans un article publié sur arXiv (2609.14878v1). Le système associe un contrôleur prédictif par échantillonnage (MPC) à un apprenant Soft Actor-Critic hors politique pour piloter une main robotique Allegro à 16 degrés de liberté. Concrètement, 20 trajectoires générées par le MPC sur le matériel réel, collectées en 12 minutes, servent d'abord à préremplir un buffer de rejeu et à pré-entraîner l'acteur et le critique. Pendant la phase en ligne, le MPC continue de guider la collecte de données par intermittence, tandis que le contrôle bascule progressivement vers la politique apprise. Sur une tâche de rotation continue d'objet en main, la politique atteint 100% de réussite en évaluation autonome (5 essais sur 5) après seulement 7 minutes d'apprentissage en ligne, moyennant environ trois chutes d'objet durant l'entraînement. Après 20 minutes, elle tourne plus de cinq fois plus vite que le contrôleur MPC initial et enchaîne 1000 rotations consécutives sur plus de 110 minutes sans lâcher l'objet. Ce résultat s'attaque à l'un des obstacles les plus concrets du RL en robotique: l'exploration initiale aléatoire, lente et destructrice pour le matériel réel. En ancrant l'apprentissage dans l'expérience d'un contrôleur classique plutôt que dans des démonstrations humaines téléopérées, coûteuses à produire en volume, la méthode réduit fortement le temps d'intervention et le nombre d'échecs physiques nécessaires avant d'obtenir une politique fiable. Pour les équipes travaillant sur la manipulation dextre, c'est un indice que l'apprentissage sur robot réel, longtemps jugé trop lent et risqué face au sim-to-real, peut converger en quelques dizaines de minutes sur une tâche à haute dimensionnalité, à condition de structurer l'exploration plutôt que de la laisser libre. Le résultat nuance aussi l'hypothèse selon laquelle des démonstrations humaines seraient indispensables pour amorcer ce type de politique. La démonstration reste toutefois limitée à une tâche de référence en conditions de laboratoire, sans institution ni calendrier de publication du code précisés. Les ablations montrent que le pré-entraînement MPC, la conservation de cette expérience dans le buffer et le guidage MPC en ligne apportent chacun un gain distinct et complémentaire, ce qui distingue l'approche des pipelines purement sim-to-real ou de l'apprentissage par imitation à partir de téléopération, aujourd'hui dominant dans la manipulation dextre humanoïde. Les auteurs rapportent en complément une adaptation rapide à d'autres géométries d'objets et une réorientation conditionnée par objectif, sans annoncer de partenariat industriel ni de déploiement au-delà du résultat de recherche.

RecherchePaper
1 source
Apprentissage hiérarchique de politiques résiduelles pour la manipulation mobile en conditions réelles, avec peu de guidage humain
Illustration générée par IA
3arXiv cs.RO 

Apprentissage hiérarchique de politiques résiduelles pour la manipulation mobile en conditions réelles, avec peu de guidage humain

HiRe-MoMa (Hierarchical Residual Mobile Manipulation) est un cadre d'apprentissage proposé dans un preprint arXiv (2610.20607) pour affiner, directement sur robot réel, des systèmes de manipulation mobile (MoMa). Il gèle une politique de base et apprend par-dessus des corrections additives, dites résiduelles, indépendantes de l'architecture de cette politique. Ce résiduel est scindé en deux têtes, l'une pour la base mobile et l'autre pour le bras manipulateur, avec un conditionnement unidirectionnel censé limiter les interférences de gradients et refléter la hiérarchie physique de la plateforme. Un second mécanisme, l'Expert-Guided Value Alignment, exploite de rares interventions humaines, couvrant moins de 20 % de l'entraînement, pour remodeler la fonction de valeur du critique et orienter l'exploration autonome. Les expériences ont été menées sur le robot TIAGo++, avec environ 30 minutes d'interaction en ligne, et les auteurs rapportent une amélioration constante des performances quelle que soit la politique de base. Le résumé ne donne ni taux de réussite ni liste de tâches. L'intérêt pour l'industrie tient au goulot d'étranglement que ce travail vise : l'affinage en conditions réelles de systèmes mobiles, où l'espace d'action est de grande dimension et où la base et le bras sont fortement couplés. Les politiques généralistes de type VLA (vision-langage-action) restent souvent fragiles une fois sorties de leurs conditions d'entraînement, et l'apprentissage par renforcement sur robot réel est coûteux en données et risqué. Une adaptation en une demi-heure, avec un superviseur humain intervenant ponctuellement, correspondrait à un coût de mise en service compatible avec un pilote chez un intégrateur. Le caractère agnostique vis-à-vis de la politique de base est un atout, car il permettrait de greffer la méthode sur des modèles existants sans les réentraîner. Les auteurs affirment toutefois être « parmi les premiers » à y parvenir, ce qui reste à situer, et l'absence de chiffres dans le résumé impose de lire les tableaux : nombre de tâches, de séries d'essais, robustesse hors configuration d'entraînement et fréquence des échecs ou des collisions. Ce travail s'inscrit dans la montée de l'apprentissage résiduel et de l'affinage par RL de politiques pré-entraînées par imitation, une voie explorée pour combler l'écart entre démonstration et fiabilité. Le choix de TIAGo++, plateforme de recherche bimanuelle développée par PAL Robotics, société barcelonaise, donne en outre une visibilité à l'écosystème européen. Il s'agit d'un résultat académique et non d'un produit : aucun déploiement commercial ni calendrier n'est annoncé. Les suites naturelles sont la validation sur d'autres plateformes, des tâches plus longues et des environnements plus dynamiques, ainsi qu'une comparaison avec les approches d'affinage de grands modèles généralistes. Le site du projet, hire-moma.github.io, doit détailler les expériences.

UELe choix du robot TIAGo++ de PAL Robotics (Barcelone) donne une visibilité à l'écosystème européen, sans déploiement ni impact direct en France.

RecherchePaper
1 source
FINGR : apprentissage du contrôle de main dextérique pour résoudre un Rubik's Cube en conditions réelles
Illustration générée par IA
4arXiv cs.RO 

FINGR : apprentissage du contrôle de main dextérique pour résoudre un Rubik's Cube en conditions réelles

Une équipe de chercheurs présente FINGR (Future-supervised Interaction Network with Geometric Representations), une politique de contrôle pour main robotique dextre qui résout un Rubik's Cube en manipulation à une seule main. Sur une vraie main dextre, elle atteint 99,0 % de réussite sur 300 tentatives de rotation de face, contre 79,7 % pour la politique de flux (flow policy) de base. Couplée à des modules de saisie et de re-préhension assistée par la table, elle résout dix cubes 2×2×2 mélangés sur dix, avec un temps moyen de système complet d'environ 137 secondes. Il s'agit d'un travail académique publié sur arXiv (version 2), accompagné d'un site de projet, et non d'un produit ou d'un déploiement industriel. Les modèles de main utilisés, le protocole de mélange et les conditions d'essai ne figurent pas dans le résumé. Techniquement, FINGR exprime la géométrie du cube relativement à chaque bout de doigt. Un encodeur de points partagé agrège les points sans dépendre de l'indexation des cubies, ce qui évite de figer une numérotation des petits cubes. Des « jetons futurs » appris, qui partagent l'encodeur d'observation, sont supervisés pour prédire les variations de force de contact, la progression de la rotation de couche et le déplacement des articulations des doigts, à plusieurs échelles de temps. La représentation obtenue conditionne une politique de flux qui génère directement les actions des doigts. L'intérêt est double. D'abord, le gain de 79,7 % à 99,0 % suggère que, pour la manipulation riche en contacts, l'ajout d'objectifs auxiliaires de prédiction d'interactions et d'une géométrie centrée sur les doigts améliore nettement la fiabilité d'une politique générative. Ensuite, la fiabilité par tour compte davantage que la vitesse : une séquence de résolution enchaîne des dizaines de rotations, et une erreur non récupérée les fait échouer. Il faut toutefois rester prudent. Le 2×2×2 est nettement plus simple que le 3×3×3, l'échantillon de dix cubes est réduit, et rien n'indique que la méthode dépasse ce cadre de laboratoire ni qu'elle soit transposable à des tâches d'assemblage industrielles. Le Rubik's Cube reste un banc d'essai classique de la dextérité robotique depuis la démonstration d'OpenAI avec la Shadow Hand, qui reposait sur un entraînement en simulation massif et une randomisation de domaine. Les approches actuelles se tournent plutôt vers les politiques génératives, de type flow matching ou diffusion, dont relèvent les modèles VLA récents comme Pi-0. FINGR se distingue en injectant des signaux de contact et de géométrie propres à la main. Les suites probables sont la montée au 3×3×3, plus exigeant en précision et en durée de séquence, ainsi que des tests sur d'autres mains dextres. Les auteurs ne mentionnent aucun partenaire industriel ni calendrier de transfert.

RecherchePaper
1 source