RecherchearXiv cs.RO 13 mai 2026

Téléopération en temps réel d'un robot humanoïde par capture de mouvement IMU avec validation sim-vers-réel

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche a publié en mai 2026 un système complet de téléopération whole-body en temps réel pour robot humanoïde, décrit dans un préprint arXiv (2605.12347). Le système capture les mouvements d'un opérateur via une combinaison Virdyn à centrales inertielles (IMU full-body), puis les retransmet en continu sur un robot Unitree G1. Le pipeline de retargeting cinématique et de contrôle fonctionne sans tampon offline ni composant d'apprentissage automatique. La validation s'est déroulée en deux étapes : d'abord en simulation via le modèle MuJoCo du G1 (sim2sim), puis déployé sans aucune modification sur le robot physique (sim2real). Le répertoire de mouvements reproduits couvre la marche, la station debout, la position assise, les rotations, les courbettes et des gestes expressifs coordonnés de tout le corps.

Le résultat le plus significatif est le transfert sim-to-real sans recalibration, un point d'échec classique où les paramètres calibrés en simulation s'effondrent face aux frictions réelles, aux latences de communication et aux erreurs de modèle. L'absence de composant d'apprentissage automatique rend le système déterministe et auditable, un argument concret pour les intégrateurs industriels ou les labos qui constituents des datasets de téléopération pour l'imitation learning. L'utilisation de matériel grand public (la combinaison Virdyn est commercialement disponible) plutôt qu'un système de mocap optique type Vicon abaisse significativement le ticket d'entrée pour construire des pipelines de collecte de démonstrations. La limitation est symétrique : sans apprentissage, l'adaptabilité à des morphologies très différentes reste contrainte par le retargeting cinématique.

Le Unitree G1 est un humanoïde d'entrée de gamme commercialisé depuis 2024 autour de 16 000 dollars, ciblant explicitement la recherche et les démos industrielles. La téléopération whole-body est devenue un axe central de la course aux données pour les systèmes humanoïdes : Physical Intelligence (Pi-0), Figure et 1X s'appuient tous sur des démonstrations téléopérées pour entraîner leurs politiques. Sur l'approche IMU appliquée aux humanoïdes, des travaux similaires ont été publiés par des équipes chinoises sur le Booster T1 et l'Unitree H1. Ce préprint ne mentionne aucun déploiement industriel ni partenariat commercial, c'est une contribution académique de validation de concept, pas un produit expédié.

Impact France/UE

Les laboratoires européens constituant des jeux de données de téléopération pour l'apprentissage par imitation (INRIA, CEA-List, LAAS-CNRS) peuvent adopter cette approche IMU sur matériel grand public pour abaisser significativement leur coût d'entrée.

Dans nos dossiers

Unitree Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

PAMoR : génération en temps réel de mouvements affectifs paramétrés pour robots humanoïdes

Des chercheurs ont publié le 28 août 2026 sur arXiv (2608.28213) un système baptisé PAMoR, qui génère des mouvements de robot humanoïde porteurs d'une émotion mesurable, plutôt qu'imitée depuis une vidéo de référence ou un simple mot-clé comme le font les systèmes existants pour avatars virtuels. Le système calcule en forme fermée une coordonnée de valence-arousal directement depuis la cinématique du robot, à partir de l'expansion posturale et de l'énergie du mouvement, sans aucune annotation humaine. Un modèle d'action et deux modèles affectifs, entraînés dans un espace latent partagé, se combinent à chaque étape de débruitage: le premier fixe la tâche exécutée, les seconds en modulent la tonalité émotionnelle. Le mouvement corps entier tourne en temps réel, en boucle autorégressive, sur un Unitree G1 à 29 degrés de liberté, action et émotion restant modifiables à la volée. Lors d'une étude perceptuelle, des évaluateurs humains ont identifié l'émotion commandée dans 38% des essais, contre 44% pour des mouvements joués par des acteurs humains. Le secteur humanoïde communique surtout sur la manipulation et la locomotion; l'expressivité émotionnelle des robots reste le plus souvent démontrée par des vidéos sélectionnées plutôt que mesurée par un protocole contrôlé. PAMoR propose un paramètre affectif quantifiable et éditable en temps réel, exploitable dans une boucle de contrôle, ce qui intéresse les intégrateurs travaillant sur l'accueil, l'assistance ou l'interaction sociale, sans dégrader la fidélité texte-mouvement des modèles d'action pure. Le score de reconnaissance de 38%, inférieur au niveau humain mais validé par une comparaison perceptuelle explicite plutôt que par une démo triée, fournit une mesure rare et vérifiable de l'expressivité d'un humanoïde, un exercice auquel peu d'annonces du secteur se prêtent. La génération de mouvement expressif existait déjà pour les avatars virtuels, où le style émotionnel provient d'un clip de référence ou d'un mot d'émotion, deux entrées jugées non quantifiables par les auteurs de PAMoR. Le travail transpose cette approche à la robotique physique via le Unitree G1, plateforme de recherche largement utilisée en académie: il s'agit d'une démonstration reproductible et non d'un produit commercial, issue d'une publication arXiv non encore évaluée par les pairs. Elle se distingue des efforts commerciaux centrés sur la manipulation et la locomotion, à l'image des modèles vision-langage-action Pi-0 ou GR00T N2, en ciblant spécifiquement l'affect social du mouvement. Aucun calendrier de transfert vers une plateforme commerciale ni partenariat industriel n'est mentionné à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

Contrôle du corps entier d'un robot humanoïde par tokenisation stochastique des mouvements

Des chercheurs proposent une méthode de contrôle du corps entier pour humanoïdes fondée sur une tokenisation stochastique du mouvement, décrite dans un preprint arXiv (2610.36452v1). L'équipe cible une limite des politiques d'apprentissage par renforcement (RL) pilotées en vitesse, efficaces pour les quadrupèdes mais trop pauvres comme interface pour des mouvements complexes d'humanoïde. Leur approche utilise des représentations compactes du mouvement, générées par un contrôleur de haut niveau à partir d'une étiquette de comportement ou d'une commande textuelle. Ces représentations alimentent directement une politique de suivi qui reçoit ainsi une référence de mouvement détaillée. Le tokenizer stochastique reconstruit les mouvements du Unitree G1 mieux que la quantification scalaire finie (FSQ) et l'autoencodeur à quantification vectorielle (VQ-VAE), à capacité égale. Sur robot physique, l'interface discrète pilote des séquences de danse, de combat et de marche générées, de 16,8 s chacune, ainsi qu'un enchaînement combat-danse de 35 s. Pour les intégrateurs et les équipes de R&D, l'intérêt tient à l'interface entre planification et exécution. Les politiques de suivi classiques voient peu du mouvement futur, ce qui les empêche de dévier de façon contrôlée pour réussir une tâche à long terme ou de préparer une transition entre deux comportements. Un jeton de mouvement conditionné par texte ou par label offre un point d'entrée commun pour des modèles de langage ou des VLA (modèles vision-langage-action), sans recourir à une simple commande de vitesse. Les résultats restent toutefois à relativiser. Ils portent sur une seule plateforme, le G1, et sur des séquences de moins de 40 s. Le résumé ne donne aucun chiffre de taux de réussite, de robustesse ni de latence. Il ne mentionne pas non plus de manipulation, de charge utile ou de déploiement industriel. Il s'agit d'une démonstration de recherche sur des mouvements expressifs. Elle ne prouve pas encore une fiabilité exploitable en production. Ce travail s'inscrit dans la course à la commande généraliste des humanoïdes. Le G1, relativement abordable, est devenu la plateforme standard des laboratoires, et le suivi de mouvements humains par RL s'est généralisé dans l'académie comme chez les acteurs industriels. La tokenisation discrète du mouvement vient du monde de la génération de mouvements, où VQ-VAE et FSQ sont des références. Les auteurs s'en servent comme pont avec les politiques de contrôle. Les prochaines étapes à surveiller sont la validation sur d'autres morphologies, l'ajout de tâches de locomotion-manipulation et la mesure de la robustesse face aux perturbations. Le texte ne cite aucun pilote commercial ni calendrier. Il faudra donc attendre le code, les vidéos non sélectionnées et des comparaisons directes avec les contrôleurs concurrents pour juger de l'apport réel.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Whole-Body UMI : transfère les compétences de manipulation aux humanoïdes par génération de mouvement en temps réel

Un article publié le 22 septembre 2026 sur arXiv (2609.22829) présente Whole-Body UMI (WB-UMI), une méthode qui étend l'Universal Manipulation Interface (UMI), protocole de collecte de démonstrations par préhenseur portatif qui évite la téléopération, au contrôle corps entier des robots humanoïdes. Le système ajoute un générateur de mouvement temps réel conditionné par la position de l'effecteur, entraîné séparément sur des données de capture de mouvement retargetées, sans capteurs corporels ni démonstrations appariées. En déploiement, une architecture asynchrone combine une politique de diffusion apprise sur les démonstrations UMI natives, ce générateur de mouvement et un contrôleur corps entier avec compensation de latence. Testée sur le robot G1 d'Unitree, l'approche atteint 90% de réussite pour fermer un tiroir, 80% pour un pick-and-place sur étagère, 40% pour une tâche combinant déplacement et prise (Loco-PnP), et 30% pour un lancer de balle. Cet écart de performance, de 90% à 30% selon les tâches, montre que le transfert de compétences captées à la main vers un contrôle corps entier reste partiel, les mouvements dynamiques comme le lancer restant nettement plus difficiles que des gestes quasi-statiques. Pour l'industrie humanoïde, l'enjeu dépasse la démonstration technique : la téléopération demeure le principal goulot d'étranglement pour entraîner des politiques vision-language-action sur des robots à jambes, et découpler l'apprentissage de la coordination corps entier de celui de la sémantique de tâche réduirait la dépendance à des données coûteuses capturées directement sur le robot. Le travail teste ainsi, en boucle fermée sur robot réel, l'hypothèse qu'une interface de collecte générique comme UMI peut s'étendre aux humanoïdes sans instrumentation corporelle supplémentaire. UMI avait été conçu comme un outil de collecte à bas coût pour l'apprentissage de politiques de manipulation, via un préhenseur instrumenté plutôt qu'un robot téléopéré. WB-UMI s'inscrit dans une compétition plus large de modèles vision-language-action et d'architectures de contrôle humanoïde, aux côtés d'approches comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, qui visent toutes à réduire le coût de la collecte de données réelles. Contrairement à ces initiatives industrielles, WB-UMI reste une contribution académique en preprint, validée sur quatre tâches avec un seul robot, le G1 d'Unitree, sans partenaire annoncé ni calendrier de déploiement.

RecherchePaper

1 source

4arXiv cs.RO

RoboGesture : génération en temps réel de gestes de parole synchronisés sémantiquement pour l'interaction humanoïde

RoboGesture, un framework de recherche destiné à permettre aux robots humanoïdes de générer des gestes synchronisés et sémantiquement cohérents en réponse à la parole humaine, a été décrit dans un article publié sur arXiv fin août 2026 (arXiv:2608.28693). Le système s'appuie sur un jeu de données dédié couvrant plus de 300 catégories de gestes, construit via un pipeline automatisé produisant des paires audio-mouvement spécifiques au robot et garanties sans collision. L'architecture combine un "Hierarchical Semantic-Acoustic Aligner", qui extrait des indices prosodiques et sémantiques à plusieurs échelles directement depuis les tokens audio bruts, et un générateur de mouvement en continu basé sur un transformer de diffusion avec conditional flow matching. Une technique nommée "Anti-Inertia CFG Masking" empêche le modèle de retomber dans des schémas de mouvement répétitifs en le forçant à puiser activement dans le signal audio, tandis qu'un filtre de sécurité basé sur du contrôle prédictif (MPC) assure une exécution en temps réel sans collision sur le matériel physique. Les expériences ont été menées sur un humanoïde Unitree G1, avec des résultats présentés comme plus sûrs, plus rythmiquement cohérents et plus pertinents sémantiquement que les méthodes de référence existantes. Ce travail cible un angle mort du secteur humanoïde, focalisé jusqu'ici surtout sur la locomotion et la manipulation d'objets : la gestuelle expressive et conversationnelle, pourtant déterminante pour l'acceptabilité d'un robot en interaction sociale (accueil, guidage, service client). Les auteurs pointent un problème technique précis, "l'éclipse modale", où les modèles génératifs ignorent le signal audio et se contentent de prolonger l'inertie cinématique du mouvement précédent, produisant des gestes désynchronisés de la parole. Le filtre MPC vise à combler l'écart classique entre simulation et réel sur un point sensible : un humanoïde qui gesticule près d'un humain sans garantie anticollision est difficilement déployable. Ces résultats restent néanmoins issus d'un cadre évalué sur une seule plateforme, sans déploiement commercial annoncé : une preuve de concept méthodologique, pas un produit prêt à l'emploi. RoboGesture s'inscrit dans la vague plus large des modèles vision-langage-action qui cherchent à doter les humanoïdes d'un comportement naturel, aux côtés d'initiatives comme GR00T N2 de Nvidia, Helix de Figure AI ou Pi-0 de Physical Intelligence, mais avec un focus rare sur la gestuelle sociale plutôt que la manipulation ou la locomotion. Le choix du Unitree G1, plateforme chinoise relativement accessible et très utilisée par les laboratoires de recherche, souligne la nature académique du projet plus qu'une orientation produit immédiate. L'article ne mentionne aucune date de mise en œuvre industrielle ni partenariat commercial ; les prochaines étapes évoquées par les chercheurs portent sur l'élargissement du jeu de données et la validation en interaction réelle prolongée avec des utilisateurs humains.

RecherchePaper

1 source