RecherchearXiv cs.RO 22 octobre 2026

HuMiT : téléopération humanoïde du corps entier à faible latence par suivi de référence compact

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

HuMiT, un système de téléopération du corps entier pour humanoïde décrit dans un preprint arXiv (2610.29903), repose sur une politique de suivi unifiée qui n'exige qu'une référence très compacte: la hauteur de la racine (le bassin), sa vitesse, et les poses SE(3) (position et orientation 3D) de quatre points clés épars, le tout à l'instant courant. Les méthodes concurrentes réclament typiquement les positions articulaires complètes, des transformations denses de segments corporels, voire des images futures de la trajectoire. Les auteurs annoncent une latence de communication à inférence d'environ 20 ms, mesurée entre le flux du casque de réalité virtuelle et la sortie de la politique, et une latence de bout en bout de 65 ms en médiane, estimée par flux optique vidéo sur différents types de mouvements. Le système a été validé sur un Unitree G1, avec des démonstrations de réactions quasi instantanées, comme attraper une balle lancée, et de loco-manipulation coordonnée. Il s'agit d'un résultat de laboratoire sur un seul robot, sans déploiement industriel ni chiffre de fiabilité statistique dans le résumé.

L'intérêt pratique tient au découplage entre le contrôleur et les modules en amont. Dans la plupart des chaînes de téléopération, le retargeting par optimisation (la conversion du mouvement humain en mouvement du robot) et le conditionnement sur des images futures ajoutent un délai incompatible avec des tâches dynamiques. En réduisant la référence à quelques points clés, HuMiT supprime ce goulot et rend possible un pilotage avec un simple casque et un nombre limité de capteurs. Pour les intégrateurs, c'est une piste pour abaisser le coût et la complexité de la collecte de données de démonstration, devenue centrale pour entraîner les modèles vision-langage-action (VLA). Reste une réserve: l'affirmation d'une fidélité de suivi « compétitive » dépend des benchmarks choisis, et le cas de la balle attrapée, spectaculaire en vidéo, ne dit rien de son taux de réussite.

Ce travail s'inscrit dans la lignée des politiques de suivi de mouvement apprises par renforcement en simulation puis transférées au réel, qui ont fait du G1 la plateforme académique de référence grâce à son prix relativement accessible. Il se situe dans le même courant que les systèmes de téléopération du corps entier développés par des laboratoires universitaires et des acteurs comme NVIDIA avec ses travaux GR00T, qui cherchent tous à produire des données de qualité à grande échelle. Les prochaines étapes naturelles seraient la validation sur d'autres morphologies, des durées d'opération longues et des tâches de manipulation plus fines. La page projet du preprint devrait en préciser les vidéos et, éventuellement, le code.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Unitree IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Au-delà du retargeting : téléopération humanoïde du corps entier, à faible latence et robuste, grâce à des primitives de mouvement atomiques apprises

Des chercheurs proposent une politique de téléopération du corps entier pour humanoïde qui supprime l'étape de retargeting en ligne, jusqu'ici standard dans ce type de système. Détaillée dans un preprint arXiv (2610.07891v1), l'approche mappe le mouvement humain brut directement vers les commandes articulaires du robot, en une seule passe avant du réseau de neurones. Elle a été testée sur un Unitree G1, en simulation puis sur matériel réel, avec quatre sources d'entrée : casque de réalité virtuelle, capture optique de mouvement, génération de mouvement à partir de texte et vidéo monoculaire. Selon les auteurs, la méthode surpasse les approches de référence en latence et en robustesse. L'abstract ne fournit toutefois ni valeur de latence en millisecondes, ni taux de réussite, ni détail sur les baselines retenues. L'enjeu est double. Le retargeting en ligne, qui adapte la cinématique humaine à la morphologie du robot, ajoute du délai et peut produire des cibles physiquement infaisables, source d'instabilité. Le deuxième problème est la fragilité face aux données hors distribution : les entrées réelles sont bruitées, partielles ou inhabituelles, et les politiques apprises sur des mouvements propres se dégradent alors. Pour y répondre, les auteurs apprennent un codebook de primitives de mouvement du corps entier. Il projette les observations atypiques sur des prototypes de mouvement plausibles et reconstruit un mouvement complet à partir d'entrées incomplètes, par exemple une vidéo qui ne montre qu'une partie du corps. Si les résultats se confirment, cela rapproche la téléopération de la collecte de données à grande échelle, où un opérateur avec un simple casque VR ou une caméra pourrait piloter un humanoïde sans pipeline de calibration lourd. Reste à vérifier la tenue sur des tâches longues, avec contacts et manipulation, qu'un travail de ce type ne démontre pas forcément. Ce travail s'inscrit dans la lignée des politiques de suivi de mouvement pour humanoïdes entraînées en simulation puis transférées au réel, où le G1 de Unitree est devenu la plateforme académique par défaut grâce à son prix relativement bas. Les systèmes de téléopération du corps entier existants reposent généralement sur une chaîne en deux temps, retargeting puis contrôleur de suivi, que cette étude fusionne en une seule politique. Les travaux concurrents poursuivent des objectifs voisins, notamment les modèles de contrôle généralistes comme GR00T chez NVIDIA, qui visent aussi une interface unifiée pour piloter les humanoïdes. Il s'agit ici d'une publication de recherche, pas d'un produit : aucun déploiement industriel ni calendrier commercial n'est annoncé. La prochaine étape logique serait une validation sur d'autres morphologies que le G1 et sur des tâches de manipulation, ainsi que la publication du code et des mesures de latence détaillées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Coordination corps-main à résidu contrôlé pour la téléopération humanoïde du corps entier

Un article publié sur arXiv (2609.18763v1) décrit une méthode pour corriger un défaut connu des systèmes de téléopération de robots humanoïdes à corps entier : la désynchronisation entre le suivi de mouvement du corps et le repositionnement des mains, deux modules aujourd'hui indépendants qui ne préservent pas la géométrie corps-mains, d'où des décalages de pose au poignet et aux doigts lors d'interactions bimanuelles. La méthode, baptisée "gated residual coordination", laisse ces deux modules gelés et leur ajoute des corrections bornées via une porte d'action conditionnée au mouvement, qui répartit l'autorité de correction entre groupes d'articulations, et des portes de récompense liées à la géométrie de référence pendant l'entraînement. Le contrôleur corporel de référence est calibré sur la plateforme humanoïde Agile One par une calibration morphologique multi-pose, puis entraîné avec un tracker basé sur SONIC et un jeu de données de mouvement construit par étapes. En simulation, les erreurs de géométrie poignet-doigts baissent de 39,2 à 56,3% sur des mouvements bimanuels issus du jeu GRAB, tandis que le taux de succès du suivi corporel global sur AMASS passe de 89,03% à 89,29%. Le problème visé est concret pour les intégrateurs de téléopération humanoïde : la cohérence corps-mains conditionne la fiabilité des tâches bimanuelles comme la saisie ou le transfert d'objet entre les mains, un enjeu direct pour la collecte de démonstrations servant à entraîner des modèles vision-language-action et pour le contrôle téléopéré en environnement industriel. L'atout de la méthode tient à sa modularité : elle évite de réentraîner les politiques de suivi corporel ou de retargeting déjà déployées, ce qui limite le coût d'intégration pour des équipes disposant d'une pile de téléopération existante. Le gain de 39 à 56% sur la précision géométrique est net, mais l'amélioration du taux de succès global du suivi corporel reste marginale, et les résultats ne sont pour l'instant validés qu'en simulation, sans démonstration publiée sur robot physique. Ce travail s'inscrit dans la lignée des pipelines de téléopération combinant un tracker de mouvement corporel et un module de retargeting dextre séparé, architecture répandue dans le secteur mais dépourvue jusqu'ici de coordination explicite entre les deux flux de commandes. Les auteurs s'appuient sur les jeux de capture de mouvement AMASS et GRAB, références classiques pour évaluer respectivement le suivi corporel global et l'interaction main-objet. À la différence d'une approche end-to-end entraînée depuis zéro, cette méthode résiduelle vise la compatibilité avec des modules déjà en production, ce qui pourrait faciliter son adoption par des équipes ayant déjà investi dans une pile de téléopération. Les prochaines étapes attendues sont une validation sur robot réel et une extension à des tâches de manipulation plus variées que celles couvertes par GRAB et AMASS.

RecherchePaper

1 source

3arXiv cs.RO

Teleopit : un système de téléopération humanoïde à corps entier

Une équipe de recherche présente Teleopit, un système de téléopération complète pour robots humanoïdes, détaillé dans un article déposé sur arXiv (référence 2608.01834v1). Le système capture les signaux corporels, les mouvements des mains et les données de tête depuis un casque VR, puis les retranscrit simultanément sur le corps d'un humanoïde, sur des mains dextres configurables et sur un module de vision active à 2 degrés de liberté. Un encodeur d'historique combiné à un échantillonnage de rattrapage sensible aux échecs améliore le suivi des mouvements, à la fois sur des données de capture de mouvement et en VR en direct. Un module de retargeting des mains, basé sur l'optimisation, combine directions normalisées des doigts, fermeture du bout des doigts et alignement du cadre du pouce, ce qui permet de transposer les gestes humains vers différents types de mains robotiques sans réglage manuel des hyperparamètres. À partir de 96 démonstrations réussies collectées avec Teleopit, des politiques ACT et GR00T N1.7 ont atteint respectivement 90,0% et 95,0% de taux de réussite lors de déploiements réels sur l'humanoïde. Cette approche s'attaque à un goulot d'étranglement bien identifié du secteur robotique: la collecte de démonstrations de haute qualité pour entraîner des politiques de type VLA (vision-language-action). Les systèmes existants simplifient souvent les commandes des mains ou nécessitent des capteurs portables dédiés pour capter la motricité fine, ce qui limite le volume et la richesse des données exploitables. En proposant un pipeline unifié couvrant locomotion, manipulation et contrôle du point de vue, Teleopit vise à réduire le coût et la complexité de la génération de données d'entraînement, un enjeu central pour les laboratoires qui cherchent à faire passer leurs politiques d'apprentissage du stade démonstratif au déploiement réel. Le projet s'inscrit dans la vague de systèmes de téléopération VR pour humanoïdes qui s'est multipliée ces derniers mois, aux côtés d'initiatives comme Helix de Figure ou GR00T N2 de Nvidia, ce dernier étant d'ailleurs directement utilisé comme politique testée dans l'étude. Les auteurs, publiant sous un profil GitHub (botrunner64), mettent à disposition une page projet dédiée mais ne précisent pas de partenariat industriel ni de calendrier de commercialisation, ce qui situe pour l'instant Teleopit au stade de la recherche académique plutôt que du produit prêt à déployer.

RecherchePaper

1 source

4arXiv cs.RO

ExtremControl : téléopération humanoïde à faible latence avec anticipation de vitesse à gain ajusté

Des chercheurs ont publié sur arXiv (version 4 du préprint 2602.11321) ExtremControl, un cadre de contrôle du corps entier pour la téléopération de robots humanoïdes à faible latence. Les systèmes existants affichent une latence de bout en bout d'environ 200 ms, soit à peu près le temps de réaction humain. Les auteurs ramènent ce chiffre jusqu'à 50 ms, avec deux modes de suivi: capture de mouvement optique et suivi par casque VR. Le système repose sur deux briques. D'abord, un retour en vitesse mis à l'échelle (scaled velocity feedforward) dans le contrôle bas niveau, avec un ratio présenté comme optimal de façon démontrable. Il réduit le retard de suivi d'environ 70 ms. Ensuite, un pilotage direct des poses SE(3) de liens rigides sélectionnés, surtout les extrémités du robot, qui évite le retargeting dans l'espace articulaire au sein de la boucle de contrôle. Une cartographie cartésienne en forme close, calibrée en une seule étape anthropomorphique, traduit le mouvement de l'opérateur en cibles pour le robot et s'adapte aux différences de morphologie. Les démonstrations incluent l'équilibrage d'une balle de ping-pong, le jonglage et le renvoi de balle en temps réel. La validation couvre la simulation et le monde réel, y compris pour la locomotion par apprentissage par renforcement. Le résumé ne précise ni le robot utilisé, ni le nombre d'essais, ni les taux de réussite. L'enjeu dépasse la téléopération elle-même. Les démonstrations collectées par téléopération alimentent l'entraînement des politiques VLA (vision-langage-action) et de l'imitation learning. Avec un plancher de latence autour de 200 ms, ces données se limitent à des tâches lentes et quasi statiques. Passer à 50 ms ouvre la collecte de comportements réactifs et dynamiques, comme rattraper ou renvoyer un objet en mouvement, qui restent rares dans les jeux de données actuels. Les auteurs désignent aussi la cause de ce plancher: un contrôle PD à position seule. Si ce diagnostic se confirme, il s'agit d'une correction logicielle de bas niveau, applicable à des plateformes existantes sans changement matériel. Cela intéresse les équipes qui constituent des datasets de manipulation dynamique. Il faut toutefois rester prudent: les capacités citées sont des démonstrations de laboratoire, et le résumé ne donne aucune comparaison chiffrée sur la fiabilité ou la généralisation à d'autres robots. Ce travail s'inscrit dans la série de systèmes de téléopération et de contrôle du corps entier pour humanoïdes issus du monde académique. Beaucoup d'entre eux privilégient la couverture des mouvements et la robustesse, plutôt que la latence. Les acteurs industriels qui collectent massivement des démonstrations, comme Tesla pour Optimus, Figure avec Helix ou Nvidia avec GR00T, restent plutôt discrets sur la latence de leurs chaînes de téléopération. Aucun produit ni calendrier de déploiement n'est annoncé: il s'agit d'un résultat de recherche. La suite logique serait la publication du code et des évaluations sur plusieurs plateformes. L'étape suivante serait ensuite de vérifier si des politiques entraînées sur ces démonstrations rapides acquièrent des compétences dynamiques que les données plus lentes ne permettent pas.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source