Aller au contenu principal
Au-delà du retargeting : téléopération humanoïde du corps entier, à faible latence et robuste, grâce à des primitives de mouvement atomiques apprisesIllustration générée par IA
RecherchearXiv cs.RO 

Au-delà du retargeting : téléopération humanoïde du corps entier, à faible latence et robuste, grâce à des primitives de mouvement atomiques apprises

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs proposent une politique de téléopération du corps entier pour humanoïde qui supprime l'étape de retargeting en ligne, jusqu'ici standard dans ce type de système. Détaillée dans un preprint arXiv (2610.07891v1), l'approche mappe le mouvement humain brut directement vers les commandes articulaires du robot, en une seule passe avant du réseau de neurones. Elle a été testée sur un Unitree G1, en simulation puis sur matériel réel, avec quatre sources d'entrée : casque de réalité virtuelle, capture optique de mouvement, génération de mouvement à partir de texte et vidéo monoculaire. Selon les auteurs, la méthode surpasse les approches de référence en latence et en robustesse. L'abstract ne fournit toutefois ni valeur de latence en millisecondes, ni taux de réussite, ni détail sur les baselines retenues.

L'enjeu est double. Le retargeting en ligne, qui adapte la cinématique humaine à la morphologie du robot, ajoute du délai et peut produire des cibles physiquement infaisables, source d'instabilité. Le deuxième problème est la fragilité face aux données hors distribution : les entrées réelles sont bruitées, partielles ou inhabituelles, et les politiques apprises sur des mouvements propres se dégradent alors. Pour y répondre, les auteurs apprennent un codebook de primitives de mouvement du corps entier. Il projette les observations atypiques sur des prototypes de mouvement plausibles et reconstruit un mouvement complet à partir d'entrées incomplètes, par exemple une vidéo qui ne montre qu'une partie du corps. Si les résultats se confirment, cela rapproche la téléopération de la collecte de données à grande échelle, où un opérateur avec un simple casque VR ou une caméra pourrait piloter un humanoïde sans pipeline de calibration lourd. Reste à vérifier la tenue sur des tâches longues, avec contacts et manipulation, qu'un travail de ce type ne démontre pas forcément.

Ce travail s'inscrit dans la lignée des politiques de suivi de mouvement pour humanoïdes entraînées en simulation puis transférées au réel, où le G1 de Unitree est devenu la plateforme académique par défaut grâce à son prix relativement bas. Les systèmes de téléopération du corps entier existants reposent généralement sur une chaîne en deux temps, retargeting puis contrôleur de suivi, que cette étude fusionne en une seule politique. Les travaux concurrents poursuivent des objectifs voisins, notamment les modèles de contrôle généralistes comme GR00T chez NVIDIA, qui visent aussi une interface unifiée pour piloter les humanoïdes. Il s'agit ici d'une publication de recherche, pas d'un produit : aucun déploiement industriel ni calendrier commercial n'est annoncé. La prochaine étape logique serait une validation sur d'autres morphologies que le G1 et sur des tâches de manipulation, ainsi que la publication du code et des mesures de latence détaillées.

À lire aussi

HuMiT : téléopération humanoïde du corps entier à faible latence par suivi de référence compact
Illustration générée par IA
1arXiv cs.RO 

HuMiT : téléopération humanoïde du corps entier à faible latence par suivi de référence compact

HuMiT, un système de téléopération du corps entier pour humanoïde décrit dans un preprint arXiv (2610.29903), repose sur une politique de suivi unifiée qui n'exige qu'une référence très compacte: la hauteur de la racine (le bassin), sa vitesse, et les poses SE(3) (position et orientation 3D) de quatre points clés épars, le tout à l'instant courant. Les méthodes concurrentes réclament typiquement les positions articulaires complètes, des transformations denses de segments corporels, voire des images futures de la trajectoire. Les auteurs annoncent une latence de communication à inférence d'environ 20 ms, mesurée entre le flux du casque de réalité virtuelle et la sortie de la politique, et une latence de bout en bout de 65 ms en médiane, estimée par flux…

RecherchePaper
1 source
Jouer au football comme les humains : un football humanoïde polyvalent et agile appris grâce à des préalables de mouvement latents
Illustration générée par IA
2arXiv cs.RO 

Jouer au football comme les humains : un football humanoïde polyvalent et agile appris grâce à des préalables de mouvement latents

Des chercheurs présentent soccerbot, un cadre d'apprentissage par renforcement hiérarchique publié sur arXiv (2611.06564) qui permet à un humanoïde Unitree G1 de jouer au football avec une gamme complète de compétences: déplacement, dribble, amorti (trapping) et frappe de balle. Le système repose sur un a priori de mouvement latent, distillé à partir de données de capture de mouvement de football humain à grande échelle. Une seule politique conditionnée par la compétence, c'est-à-dire pilotée par une commande qui sélectionne le geste souhaité, exécute l'ensemble de ces actions. Les auteurs précisent que le transfert de la simulation au robot réel se fait en zero-shot, sans réglage supplémentaire sur la machine, grâce à une conception de simulation orientée robustesse.

RecherchePaper
1 source
SMR : apprentissage du retargeting de mouvement en flux continu pour humanoïdes à partir de la sémantique humaine
Illustration générée par IA
3arXiv cs.RO 

SMR : apprentissage du retargeting de mouvement en flux continu pour humanoïdes à partir de la sémantique humaine

Des chercheurs proposent SMR, un système de retargeting de mouvement en flux continu qui convertit les gestes humains en références exécutables par un humanoïde. L'approche repose sur des « experts physiques » qui suivent, en simulation, des cibles dérivées du mouvement humain: positions, orientations et vitesses de repères corporels, exprimées dans l'espace des tâches du robot. Ces experts doivent respecter les contacts, la dynamique et les limites des actionneurs. Seules les trajectoires réellement exécutées qui mènent le mouvement à son terme et passent des contrôles de validité sémantique et physique sont conservées. Elles servent ensuite à entraîner un unique Transformer strictement causal.

RecherchePaper
1 source
Contrôle du corps entier d'un robot humanoïde par tokenisation stochastique des mouvements
Illustration générée par IA
4arXiv cs.RO 

Contrôle du corps entier d'un robot humanoïde par tokenisation stochastique des mouvements

Des chercheurs proposent une méthode de contrôle du corps entier pour humanoïdes fondée sur une tokenisation stochastique du mouvement, décrite dans un preprint arXiv (2610.36452v1). L'équipe cible une limite des politiques d'apprentissage par renforcement (RL) pilotées en vitesse, efficaces pour les quadrupèdes mais trop pauvres comme interface pour des mouvements complexes d'humanoïde. Leur approche utilise des représentations compactes du mouvement, générées par un contrôleur de haut niveau à partir d'une étiquette de comportement ou d'une commande textuelle. Ces représentations alimentent directement une politique de suivi qui reçoit ainsi une référence de mouvement détaillée. Le tokenizer stochastique reconstruit les mouvements du Unitree G1 mieux que la quantification scalaire finie (FSQ) et l'autoencodeur à quantification vectorielle (VQ-VAE), à capacité égale.

RecherchePaper
1 source