RecherchearXiv cs.RO 22 octobre 2026

ExtremControl : téléopération humanoïde à faible latence avec anticipation de vitesse à gain ajusté

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (version 4 du préprint 2602.11321) ExtremControl, un cadre de contrôle du corps entier pour la téléopération de robots humanoïdes à faible latence. Les systèmes existants affichent une latence de bout en bout d'environ 200 ms, soit à peu près le temps de réaction humain. Les auteurs ramènent ce chiffre jusqu'à 50 ms, avec deux modes de suivi: capture de mouvement optique et suivi par casque VR. Le système repose sur deux briques. D'abord, un retour en vitesse mis à l'échelle (scaled velocity feedforward) dans le contrôle bas niveau, avec un ratio présenté comme optimal de façon démontrable. Il réduit le retard de suivi d'environ 70 ms. Ensuite, un pilotage direct des poses SE(3) de liens rigides sélectionnés, surtout les extrémités du robot, qui évite le retargeting dans l'espace articulaire au sein de la boucle de contrôle. Une cartographie cartésienne en forme close, calibrée en une seule étape anthropomorphique, traduit le mouvement de l'opérateur en cibles pour le robot et s'adapte aux différences de morphologie. Les démonstrations incluent l'équilibrage d'une balle de ping-pong, le jonglage et le renvoi de balle en temps réel. La validation couvre la simulation et le monde réel, y compris pour la locomotion par apprentissage par renforcement. Le résumé ne précise ni le robot utilisé, ni le nombre d'essais, ni les taux de réussite.

L'enjeu dépasse la téléopération elle-même. Les démonstrations collectées par téléopération alimentent l'entraînement des politiques VLA (vision-langage-action) et de l'imitation learning. Avec un plancher de latence autour de 200 ms, ces données se limitent à des tâches lentes et quasi statiques. Passer à 50 ms ouvre la collecte de comportements réactifs et dynamiques, comme rattraper ou renvoyer un objet en mouvement, qui restent rares dans les jeux de données actuels. Les auteurs désignent aussi la cause de ce plancher: un contrôle PD à position seule. Si ce diagnostic se confirme, il s'agit d'une correction logicielle de bas niveau, applicable à des plateformes existantes sans changement matériel. Cela intéresse les équipes qui constituent des datasets de manipulation dynamique. Il faut toutefois rester prudent: les capacités citées sont des démonstrations de laboratoire, et le résumé ne donne aucune comparaison chiffrée sur la fiabilité ou la généralisation à d'autres robots.

Ce travail s'inscrit dans la série de systèmes de téléopération et de contrôle du corps entier pour humanoïdes issus du monde académique. Beaucoup d'entre eux privilégient la couverture des mouvements et la robustesse, plutôt que la latence. Les acteurs industriels qui collectent massivement des démonstrations, comme Tesla pour Optimus, Figure avec Helix ou Nvidia avec GR00T, restent plutôt discrets sur la latence de leurs chaînes de téléopération. Aucun produit ni calendrier de déploiement n'est annoncé: il s'agit d'un résultat de recherche. La suite logique serait la publication du code et des évaluations sur plusieurs plateformes. L'étape suivante serait ensuite de vérifier si des politiques entraînées sur ces démonstrations rapides acquièrent des compétences dynamiques que les données plus lentes ne permettent pas.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

HuMiT : téléopération humanoïde du corps entier à faible latence par suivi de référence compact

HuMiT, un système de téléopération du corps entier pour humanoïde décrit dans un preprint arXiv (2610.29903), repose sur une politique de suivi unifiée qui n'exige qu'une référence très compacte: la hauteur de la racine (le bassin), sa vitesse, et les poses SE(3) (position et orientation 3D) de quatre points clés épars, le tout à l'instant courant. Les méthodes concurrentes réclament typiquement les positions articulaires complètes, des transformations denses de segments corporels, voire des images futures de la trajectoire. Les auteurs annoncent une latence de communication à inférence d'environ 20 ms, mesurée entre le flux du casque de réalité virtuelle et la sortie de la politique, et une latence de bout en bout de 65 ms en médiane, estimée par flux optique vidéo sur différents types de mouvements. Le système a été validé sur un Unitree G1, avec des démonstrations de réactions quasi instantanées, comme attraper une balle lancée, et de loco-manipulation coordonnée. Il s'agit d'un résultat de laboratoire sur un seul robot, sans déploiement industriel ni chiffre de fiabilité statistique dans le résumé. L'intérêt pratique tient au découplage entre le contrôleur et les modules en amont. Dans la plupart des chaînes de téléopération, le retargeting par optimisation (la conversion du mouvement humain en mouvement du robot) et le conditionnement sur des images futures ajoutent un délai incompatible avec des tâches dynamiques. En réduisant la référence à quelques points clés, HuMiT supprime ce goulot et rend possible un pilotage avec un simple casque et un nombre limité de capteurs. Pour les intégrateurs, c'est une piste pour abaisser le coût et la complexité de la collecte de données de démonstration, devenue centrale pour entraîner les modèles vision-langage-action (VLA). Reste une réserve: l'affirmation d'une fidélité de suivi « compétitive » dépend des benchmarks choisis, et le cas de la balle attrapée, spectaculaire en vidéo, ne dit rien de son taux de réussite. Ce travail s'inscrit dans la lignée des politiques de suivi de mouvement apprises par renforcement en simulation puis transférées au réel, qui ont fait du G1 la plateforme académique de référence grâce à son prix relativement accessible. Il se situe dans le même courant que les systèmes de téléopération du corps entier développés par des laboratoires universitaires et des acteurs comme NVIDIA avec ses travaux GR00T, qui cherchent tous à produire des données de qualité à grande échelle. Les prochaines étapes naturelles seraient la validation sur d'autres morphologies, des durées d'opération longues et des tâches de manipulation plus fines. La page projet du preprint devrait en préciser les vidéos et, éventuellement, le code.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Au-delà du retargeting : téléopération humanoïde du corps entier, à faible latence et robuste, grâce à des primitives de mouvement atomiques apprises

Des chercheurs proposent une politique de téléopération du corps entier pour humanoïde qui supprime l'étape de retargeting en ligne, jusqu'ici standard dans ce type de système. Détaillée dans un preprint arXiv (2610.07891v1), l'approche mappe le mouvement humain brut directement vers les commandes articulaires du robot, en une seule passe avant du réseau de neurones. Elle a été testée sur un Unitree G1, en simulation puis sur matériel réel, avec quatre sources d'entrée : casque de réalité virtuelle, capture optique de mouvement, génération de mouvement à partir de texte et vidéo monoculaire. Selon les auteurs, la méthode surpasse les approches de référence en latence et en robustesse. L'abstract ne fournit toutefois ni valeur de latence en millisecondes, ni taux de réussite, ni détail sur les baselines retenues. L'enjeu est double. Le retargeting en ligne, qui adapte la cinématique humaine à la morphologie du robot, ajoute du délai et peut produire des cibles physiquement infaisables, source d'instabilité. Le deuxième problème est la fragilité face aux données hors distribution : les entrées réelles sont bruitées, partielles ou inhabituelles, et les politiques apprises sur des mouvements propres se dégradent alors. Pour y répondre, les auteurs apprennent un codebook de primitives de mouvement du corps entier. Il projette les observations atypiques sur des prototypes de mouvement plausibles et reconstruit un mouvement complet à partir d'entrées incomplètes, par exemple une vidéo qui ne montre qu'une partie du corps. Si les résultats se confirment, cela rapproche la téléopération de la collecte de données à grande échelle, où un opérateur avec un simple casque VR ou une caméra pourrait piloter un humanoïde sans pipeline de calibration lourd. Reste à vérifier la tenue sur des tâches longues, avec contacts et manipulation, qu'un travail de ce type ne démontre pas forcément. Ce travail s'inscrit dans la lignée des politiques de suivi de mouvement pour humanoïdes entraînées en simulation puis transférées au réel, où le G1 de Unitree est devenu la plateforme académique par défaut grâce à son prix relativement bas. Les systèmes de téléopération du corps entier existants reposent généralement sur une chaîne en deux temps, retargeting puis contrôleur de suivi, que cette étude fusionne en une seule politique. Les travaux concurrents poursuivent des objectifs voisins, notamment les modèles de contrôle généralistes comme GR00T chez NVIDIA, qui visent aussi une interface unifiée pour piloter les humanoïdes. Il s'agit ici d'une publication de recherche, pas d'un produit : aucun déploiement industriel ni calendrier commercial n'est annoncé. La prochaine étape logique serait une validation sur d'autres morphologies que le G1 et sur des tâches de manipulation, ainsi que la publication du code et des mesures de latence détaillées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Vers des robots humanoïdes dans la construction : étude de faisabilité de la téléopération

Une équipe de chercheurs présente sur arXiv un système de téléopération permettant à un seul opérateur d'exécuter des tâches de chantier avec un Unitree G1, humanoïde d'entrée de gamme très répandu dans les laboratoires. L'architecture sépare le haut et le bas du corps. Le haut du corps (bras et mains) est piloté par un dispositif de réalité étendue (XR) qui reproduit les mouvements de l'opérateur. La locomotion est commandée au pédalier, ce qui libère les mains et permet de manipuler et de marcher en même temps. Deux tâches tirées de la base de données professionnelle O*NET ont servi de test : le transport d'outils et la peinture de surface. Le système a atteint 100 % de réussite sur le transport d'outils et 80 % sur la peinture. Les auteurs ne précisent pas dans le résumé le nombre d'essais, mais ces taux, établis sur un échantillon visiblement restreint, relèvent de l'étude de faisabilité et non de la validation statistique. Surtout, la téléopération demande nettement plus de temps que l'exécution manuelle par un humain, sans que le résumé chiffre l'écart. L'intérêt tient moins aux performances brutes qu'à la posture adoptée. Plutôt que d'attendre une autonomie complète, que les modèles vision-langage-action (VLA) n'ont pas encore démontrée sur des environnements de chantier non structurés, les auteurs défendent la téléopération comme solution à court terme. Elle répond à la pénurie de main-d'œuvre et aux conditions dangereuses, en éloignant l'ouvrier des tâches les plus pénibles. Elle produit aussi des démonstrations de qualité pour entraîner les futures politiques d'apprentissage. Le résultat nuance le discours de certains acteurs du secteur : un humanoïde commandé à distance reste plus lent qu'un travailleur, ce qui pèse sur la rentabilité immédiate. Pour un intégrateur ou un décideur du BTP, la valeur à court terme se situe donc dans la sécurité et la collecte de données, pas dans la productivité. Ce travail s'inscrit dans une dynamique où la téléopération sert de passerelle vers l'autonomie. Le recueil de démonstrations par casque XR est devenu courant pour alimenter des modèles comme Pi-0 ou GR00T, et le G1, vendu à un prix bien inférieur à celui des humanoïdes industriels, s'impose comme plateforme de recherche. Face à lui, Figure, Tesla avec Optimus ou Agility visent d'abord la logistique et l'usine, plus structurées que le chantier. Le BTP reste un terrain peu exploré pour les humanoïdes, et aucun pilote ni calendrier de déploiement n'est annoncé ici. Il s'agit d'une publication préliminaire (v1), sans produit ni client, dont la suite logique serait des essais plus nombreux, des tâches plus variées et une comparaison chiffrée des temps d'exécution.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Coordination corps-main à résidu contrôlé pour la téléopération humanoïde du corps entier

Un article publié sur arXiv (2609.18763v1) décrit une méthode pour corriger un défaut connu des systèmes de téléopération de robots humanoïdes à corps entier : la désynchronisation entre le suivi de mouvement du corps et le repositionnement des mains, deux modules aujourd'hui indépendants qui ne préservent pas la géométrie corps-mains, d'où des décalages de pose au poignet et aux doigts lors d'interactions bimanuelles. La méthode, baptisée "gated residual coordination", laisse ces deux modules gelés et leur ajoute des corrections bornées via une porte d'action conditionnée au mouvement, qui répartit l'autorité de correction entre groupes d'articulations, et des portes de récompense liées à la géométrie de référence pendant l'entraînement. Le contrôleur corporel de référence est calibré sur la plateforme humanoïde Agile One par une calibration morphologique multi-pose, puis entraîné avec un tracker basé sur SONIC et un jeu de données de mouvement construit par étapes. En simulation, les erreurs de géométrie poignet-doigts baissent de 39,2 à 56,3% sur des mouvements bimanuels issus du jeu GRAB, tandis que le taux de succès du suivi corporel global sur AMASS passe de 89,03% à 89,29%. Le problème visé est concret pour les intégrateurs de téléopération humanoïde : la cohérence corps-mains conditionne la fiabilité des tâches bimanuelles comme la saisie ou le transfert d'objet entre les mains, un enjeu direct pour la collecte de démonstrations servant à entraîner des modèles vision-language-action et pour le contrôle téléopéré en environnement industriel. L'atout de la méthode tient à sa modularité : elle évite de réentraîner les politiques de suivi corporel ou de retargeting déjà déployées, ce qui limite le coût d'intégration pour des équipes disposant d'une pile de téléopération existante. Le gain de 39 à 56% sur la précision géométrique est net, mais l'amélioration du taux de succès global du suivi corporel reste marginale, et les résultats ne sont pour l'instant validés qu'en simulation, sans démonstration publiée sur robot physique. Ce travail s'inscrit dans la lignée des pipelines de téléopération combinant un tracker de mouvement corporel et un module de retargeting dextre séparé, architecture répandue dans le secteur mais dépourvue jusqu'ici de coordination explicite entre les deux flux de commandes. Les auteurs s'appuient sur les jeux de capture de mouvement AMASS et GRAB, références classiques pour évaluer respectivement le suivi corporel global et l'interaction main-objet. À la différence d'une approche end-to-end entraînée depuis zéro, cette méthode résiduelle vise la compatibilité avec des modules déjà en production, ce qui pourrait faciliter son adoption par des équipes ayant déjà investi dans une pile de téléopération. Les prochaines étapes attendues sont une validation sur robot réel et une extension à des tâches de manipulation plus variées que celles couvertes par GRAB et AMASS.

RecherchePaper

1 source