RecherchearXiv cs.RO 11 septembre 2026

SEED-UMI : exosquelette partagé entre humain et robot pour une démonstration dextérique en correspondance directe

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Publié le 11 septembre 2026 sur arXiv (2609.11753), SEED-UMI est un framework d'apprentissage par imitation pour mains robotiques dextres qui fait porter le même exosquelette à l'humain et au robot. Les codeurs articulaires de l'exosquelette deviennent une mesure physique partagée, et des caméras fixées au poignet observent le même mécanisme pendant la collecte des démonstrations humaines et pendant l'exécution robotique. Le transfert de mouvement (retargeting) devient ainsi une supervision appariée entre les deux incarnations, ce qui permet d'entraîner les politiques directement sur les images brutes du poignet, sans segmentation ni inpainting. Sur cinq tâches riches en contacts, SEED-UMI collecte les données trois fois plus vite que la téléopération par exosquelette classique et atteint 70,0% de réussite moyenne en exécution.

L'enjeu dépasse la prouesse technique : la collecte de démonstrations dextres reste le principal frein à l'entraînement à grande échelle des modèles vision-langage-action, alors que les mains robotiques accusent un retard net sur les progrès réalisés en locomotion bipède. Les exosquelettes actuels n'enregistrent que le côté humain et retargettent via des correspondances calibrées à vide, qui se dégradent dès qu'un contact physique intervient, un problème critique pour l'assemblage ou la préhension fine. En partageant le même exosquelette entre humain et robot, SEED-UMI supprime cette source de désalignement, ce qui pourrait réduire le coût des jeux de données pour les intégrateurs travaillant sur des mains robotiques commerciales. Un taux de réussite de 70% reste néanmoins loin de la fiabilité industrielle attendue en production, ce qui situe ce travail au stade de la recherche.

Le nom du framework renvoie à UMI (Universal Manipulation Interface), une lignée de travaux ayant popularisé la capture de démonstrations par caméra portée à la main plutôt que par téléopération robotique directe. SEED-UMI s'inscrit dans un paysage où coexistent gants de motion capture et exosquelettes de téléopération, tandis que des modèles fondation comme Pi-0, GR00T N2 ou Helix cherchent à généraliser à partir de tels jeux de données pour piloter mains et humanoïdes variés. Publié comme simple preprint arXiv, sans institution ni calendrier de déploiement précisés, SEED-UMI reste une contribution méthodologique dont la reproductibilité et l'extension à d'autres mains robotiques restent à démontrer par la communauté.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Exosquelettes arXiv cs.RO

À lire aussi

1arXiv cs.RO

Une seule démonstration suffit pour l'apprentissage par renforcement robotique en conditions réelles

Des chercheurs présentent AutoSERL, un framework d'apprentissage par renforcement (RL) pour robots qui n'a besoin que d'une seule démonstration humaine pour apprendre des tâches de manipulation complexes en conditions réelles, sans intervention humaine continue pendant l'entraînement. Le système repose sur trois mécanismes complémentaires : une fenêtre glissante d'intervention qui guide l'exploration pour éviter les minima locaux et les mouvements dangereux, un mécanisme de récupération de sécurité qui détecte les échecs et corrige la trajectoire via des points de reprise prédéfinis, et un critère d'arrêt automatique qui coupe le guidage dès que la politique apprise devient autonome. Les auteurs ont testé AutoSERL sur six tâches de manipulation à contact intensif (insertion, accrochage, tâches à charnière) réparties sur deux plateformes robotiques différentes. Le framework atteint 100% de réussite sur les tâches d'insertion et dépasse systématiquement SERL entraîné avec 20 démonstrations, l'apprentissage par imitation classique (behavior cloning) et MILES, une méthode dédiée à l'apprentissage en un coup, tout en égalant les performances de HIL-SERL qui nécessite lui une supervision humaine continue. L'intérêt pour l'industrie tient à la réduction drastique du coût de collecte de données, généralement le principal frein au déploiement de RL sur du matériel physique. La plupart des approches existantes exigent soit des dizaines de démonstrations, soit un opérateur qui intervient en permanence pendant l'entraînement, ce qui limite le passage à l'échelle en usine ou en intégration industrielle. En automatisant l'intervention à partir d'un seul exemple tout en conservant une robustesse aux variations de position des pièces, AutoSERL rapproche le RL réel de tâches d'assemblage fin, un terrain où les approches purement basées sur l'imitation ou les politiques VLA préentraînées peinent encore à garantir une fiabilité industrielle. Ce travail s'inscrit dans la lignée de SERL et HIL-SERL, frameworks de référence pour le RL avec intervention humaine sur robots physiques, en cherchant à supprimer leur principale contrainte opérationnelle. Le code et les vidéos de démonstration sont publiés par les auteurs sur un site dédié, mais le papier, déposé sur arXiv le 1er juillet 2026, reste à ce stade une contribution de recherche académique évaluée en laboratoire sur deux plateformes robotiques, sans indication de déploiement industriel ni de partenariat commercial annoncé.

RecherchePaper

1 source

2arXiv cs.RO

DexDirect : guidage kinesthésique direct du bras pour une collecte efficace de démonstrations dextériques

Des chercheurs présentent DexDirect, une nouvelle interface de téléopération conçue pour accélérer la collecte de démonstrations de manipulation dextre, un goulot d'étranglement connu pour l'apprentissage robotique. Le système combine un guidage kinesthésique direct, l'opérateur tire littéralement un bras robotique à 6 degrés de liberté à compensation de gravité par une poignée, avec un simple webcam qui retranscrit les mouvements de l'autre main de l'opérateur sur une main robotique dextre à 16 articulations et 13 degrés de liberté. Selon les études utilisateurs menées par les auteurs, DexDirect permet de collecter 17,2 fois plus de démonstrations réussies que la référence purement visuelle AnyTeleop, et 3,2 fois plus que la référence par suivi de pose TeleDex. Un test NASA-TLX adapté montre une réduction nette de la charge mentale, de l'effort perçu et de la frustration des opérateurs, malgré une charge physique légèrement accrue liée à la manipulation directe du bras. Une politique de diffusion entraînée sur les démonstrations collectées via DexDirect atteint 90% de réussite sur une tâche de préhension-dépose de cube. L'enjeu dépasse le simple confort d'utilisation. La collecte de données de manipulation dextre à grande échelle est aujourd'hui le principal frein au déploiement de politiques robustes de manipulation par apprentissage, notamment pour les architectures VLA (vision-language-action) qui nécessitent des volumes massifs de démonstrations de qualité. Les interfaces existantes forcent un compromis entre précision (matériel coûteux et lourd à installer) et accessibilité (solutions légères mais imprécises, épuisantes cognitivement pour l'opérateur). En réduisant drastiquement la charge mentale tout en démultipliant le taux de succès des démonstrations, DexDirect suggère qu'il est possible de lever ce compromis, un argument potentiellement décisif pour les laboratoires cherchant à industrialiser la collecte de données pour l'apprentissage par imitation. Le travail est publié comme prépublication sur arXiv, sans identification d'un déploiement produit ou d'un partenariat industriel: il s'agit d'une contribution de recherche comparée à deux méthodes existantes de référence, AnyTeleop et TeleDex, plutôt que d'une annonce commerciale. Aucun acteur français ou européen n'est mentionné dans cette publication.

RecherchePaper

1 source

3arXiv cs.RO

La pratique fait la politique : construire et consolider des capacités robotiques sans démonstration humaine

HERO (Heuristic-Exemplar-Reflexive Orchestration) est un cadre robotique proposé dans un article arXiv publié fin juillet 2026, conçu pour permettre à un bras ou un robot manipulateur d'apprendre des tâches de manipulation sans aucune démonstration humaine préalable. Le système combine trois mécanismes dans une architecture hiérarchique unifiée : un raisonnement heuristique pour explorer et amorcer de nouvelles tâches, une réutilisation d'exemplaires pour transférer rapidement des comportements déjà appris à des situations similaires, et une exécution réflexive qui corrige les erreurs en temps réel pendant l'interaction physique. L'idée centrale est que le robot collecte lui-même ses données d'entraînement en agissant dans l'environnement, puis consolide progressivement les interactions récurrentes en politiques visuomotrices en boucle fermée, c'est-à-dire des comportements appris directement à partir des flux caméra et capteurs, sans supervision humaine continue. Les auteurs rapportent, via des expériences étendues, une réduction substantielle de l'intervention humaine lors de la collecte de données, avec une manipulation jugée robuste sur des tâches variées. L'intérêt pour l'industrie tient au problème que HERO cherche à résoudre : la plupart des systèmes de manipulation robotique actuels apprennent des compétences figées, calibrées pour une tâche ou un environnement précis, et ne s'améliorent pas de façon autonome au fil de l'usage réel. Un mécanisme qui transforme l'expérience accumulée en capacités réutilisables, sans démonstrations humaines coûteuses à collecter, s'attaque directement au goulot d'étranglement des données qui freine le déploiement à grande échelle des politiques de type VLA (vision-language-action) chez les intégrateurs et fabricants de robots généralistes. Ce travail s'inscrit dans une lignée de recherche plus large sur l'auto-amélioration des agents incarnés, où plusieurs laboratoires explorent des boucles fermées entre collecte de données, entraînement de politiques et exécution. Il s'agit ici d'une publication de recherche, pas d'un produit commercialisé ni d'un déploiement industriel documenté : les résultats proviennent d'expériences en laboratoire, et l'article ne précise ni le matériel utilisé ni de comparaison chiffrée avec des systèmes concurrents nommés.

RecherchePaper

1 source

4arXiv cs.RO

RoboTok : un moteur de données à l'échelle d'Internet pour la recherche de démonstrations humaines et l'apprentissage de la préhension dextérique

Un article publié sur arXiv (référence 2609.03199v1, catégorie « cross-listing » signalant un intérêt à la fois pour la robotique et la vision par ordinateur) présente RoboTok, un moteur de données conçu pour exploiter des vidéos humaines à l'échelle d'internet afin d'entraîner des politiques robotiques de manipulation dextre. Le système part d'une vidéo requête montrant une manipulation humaine, puis recherche dans de vastes collections de vidéos web des démonstrations pertinentes pour la même tâche. Techniquement, RoboTok apprend un espace de mouvement latent à partir de trajectoires 3D de la main, exprimées dans des repères centrés sur l'acteur estimés automatiquement, ce qui permet de comparer des gestes de manipulation malgré des différences de point de vue caméra, d'apparence de scène ou d'occlusions partielles de l'acteur. Cette représentation reste suffisamment compacte pour permettre une recherche efficace et une indexation continue sur des corpus vidéo de très grande taille. Les auteurs comparent RoboTok à des méthodes existantes de récupération de données robotiques, sur des benchmarks de recherche et sur la performance de politiques robotiques en aval, sans toutefois préciser dans le résumé les chiffres exacts de gain, ni les tâches ou plateformes robotiques testées. L'enjeu principal visé par ce travail est le goulot d'étranglement bien identifié de l'apprentissage robotique : collecter des données directement sur robot reste coûteux et ne permet pas de couvrir la longue traîne des tâches réelles rencontrées en manipulation. En proposant une méthode de récupération sensible à la pose de la main plutôt qu'à l'apparence brute, RoboTok cherche à transformer la vidéo web, ressource déjà abondante et en croissance continue, en une source de supervision exploitable et évolutive pour l'entraînement de politiques. Pour les intégrateurs et équipes de recherche en robotique dextre, cela s'inscrit dans une tendance plus large consistant à s'appuyer sur des données humaines non robotiques pour réduire la dépendance à la téléopération coûteuse, sans toutefois démontrer ici un déploiement matériel réel ni un produit commercialisé : il s'agit d'une contribution méthodologique et expérimentale, évaluée sur benchmarks académiques. Le papier se positionne dans la lignée des approches récentes de pré-entraînement robotique à partir de vidéos humaines à grande échelle, une direction de recherche active pour contourner la rareté des données robot réelles. Le résumé ne mentionne ni entreprise, ni laboratoire nommé, ni calendrier de suite ; il s'agit à ce stade d'une publication de recherche, pas d'une annonce produit ou d'un pilote industriel.

RecherchePaper

1 source