RecherchearXiv cs.RO 16 octobre 2026

Téléopération humanoïde à prise en compte de l'inertie via commande prédictive du corps entier et estimation de paramètres en ligne

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent une architecture de téléopération pour robot humanoïde capable de compenser en temps réel les variations d'inertie liées au port de charges lourdes ou à l'utilisation d'outils. Le système couple un contrôleur prédictif sur modèle du corps entier (WB-MPC, whole body model predictive control) à un filtre de Kalman étendu (EKF) qui estime en ligne des paramètres inertiels variables dans le temps, contraints pour rester physiquement cohérents (masse positive, tenseur d'inertie valide). Ces estimations alimentent le modèle de dynamique complète des corps rigides du WB-MPC, ce qui produit des couples en boucle ouverte (feedforward) plus précis lorsque le robot subit une charge externe. Une interface de réalité virtuelle permet à l'opérateur de fournir des références de tâche sans se soucier de la charge, la gestion de l'équilibre dynamique étant déléguée au contrôleur. La validation repose sur des simulations et des essais matériels sur un système humanoïde, que le résumé ne nomme pas. Il ne donne ni masse de charge, ni degrés de liberté, ni temps de cycle, ni gain chiffré par rapport à une base de référence.

L'enjeu est concret pour quiconque envisage un humanoïde en logistique, en maintenance ou en manutention. Dès que la charge représente une part significative de la masse totale du système robot plus charge, la laisser au seul retour d'état (feedback) dégrade le suivi et menace l'équilibre. Les auteurs soutiennent que l'identification en ligne de la charge, plutôt que sa compensation par la boucle de rétroaction, est la voie la plus générale. C'est un point que les démonstrations spectaculaires de portage passent souvent sous silence. L'approche est aussi complémentaire des politiques VLA (vision-langage-action) apprises de bout en bout, qui peinent à exploiter explicitement la physique de la charge. Elle suggère qu'un contrôle modèle-based bien identifié reste pertinent pour les tâches à fort contact et à forte inertie. Il faut toutefois rester prudent: sans valeurs chiffrées publiées dans le résumé, la robustesse face à des charges inconnues, à du bruit capteur ou à des temps de calcul contraints reste à vérifier dans le texte intégral.

Ce travail s'inscrit dans la continuité des contrôleurs MPC sur corps entier, déjà éprouvés sur des quadrupèdes et des humanoïdes, et des méthodes d'identification inertielle issues de la manipulation. Il s'agit d'une prépublication arXiv, donc d'un résultat de recherche non évalué par les pairs, et non d'un produit ni d'un déploiement. Les grands acteurs de l'humanoïde industriel, dont Figure, Agility, Apptronik et Tesla avec Optimus, misent surtout sur des politiques apprises et la téléopération pour collecter des données, tandis que des équipes académiques et des acteurs européens comme Wandercraft, qui maîtrise le contrôle de marche sur exosquelette, travaillent sur le contrôle dynamique fondé sur des modèles. La suite logique serait une validation sur des charges plus lourdes et plus variées, un transfert vers des plateformes commerciales et une intégration avec des politiques apprises pour les tâches de plus haut niveau.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Apptronik Apollo Wandercraft IA physique & VLA Exosquelettes

À lire aussi

1arXiv cs.RO

Téléopération bilatérale du corps entier avec estimation multi-étapes des paramètres d'objets pour la locomanipulation humanoïde à roues

Un article mis à jour sur arXiv (référence 2508.09846, version 2) décrit un système de téléopération bilatérale corps entier pour un robot humanoïde à roues effectuant des tâches de manipulation en mouvement. L'apport technique central est un module d'estimation en ligne, en plusieurs étapes, des paramètres inertiels de l'objet saisi (masse, centre de masse, inertie). Le pipeline enchaîne un estimateur de taille par vision, une estimation initiale générée par un grand modèle vision-langage (VLM), puis un raffinement par échantillonnage hiérarchique découplé en plusieurs hypothèses, conçu pour limiter l'impact d'une erreur du VLM. Ce module tourne en parallèle d'une simulation haute-fidélité et du matériel réel, avec mise à jour en temps réel du point d'équilibre du robot. Les auteurs valident l'approche sur un prototype maison équipé d'une pince robotique et d'une interface homme-machine, démontrant en temps réel des tâches de levage, transport et dépose d'une charge représentant environ un tiers du poids corporel du robot. Pour l'industrie robotique, ce travail cible un verrou concret de la téléopération à retour haptique : sans connaissance des propriétés physiques de l'objet manipulé, le retour de force transmis à l'opérateur reste imprécis, ce qui brise la dynamique du contrôle corps entier. Combiner vision et VLM pour réduire l'espace de recherche avant d'affiner par échantillonnage accélérerait, selon les auteurs, l'estimation par rapport à des méthodes purement stochastiques ; l'abstract ne fournit toutefois aucun temps de cycle chiffré ni comparaison directe, ce qui invite à la prudence sur l'ampleur réelle du gain. L'intérêt pour les intégrateurs est de voir les VLM utilisés non pas pour générer des politiques d'action autonomes à la manière des approches VLA, mais comme prior physique exploitable en téléopération, une piste intermédiaire entre autonomie complète et contrôle humain pur. Cette publication s'inscrit dans la recherche sur la téléopération bilatérale de robots humanoïdes, où l'estimation dynamique des objets manipulés reste un problème ouvert. Elle se distingue des approches commerciales dominantes de robots humanoïdes bipèdes visant l'autonomie complète via des modèles VLA génératifs, en misant plutôt sur une plateforme à roues pilotée par un opérateur humain en boucle, un choix qui privilégie stabilité et charge utile relative. L'article ne précise ni institution porteuse ni calendrier de commercialisation : il s'agit d'une démonstration de faisabilité en laboratoire, sans pilote industriel ni partenaire annoncé à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

Teleopit : un système de téléopération humanoïde à corps entier

Une équipe de recherche présente Teleopit, un système de téléopération complète pour robots humanoïdes, détaillé dans un article déposé sur arXiv (référence 2608.01834v1). Le système capture les signaux corporels, les mouvements des mains et les données de tête depuis un casque VR, puis les retranscrit simultanément sur le corps d'un humanoïde, sur des mains dextres configurables et sur un module de vision active à 2 degrés de liberté. Un encodeur d'historique combiné à un échantillonnage de rattrapage sensible aux échecs améliore le suivi des mouvements, à la fois sur des données de capture de mouvement et en VR en direct. Un module de retargeting des mains, basé sur l'optimisation, combine directions normalisées des doigts, fermeture du bout des doigts et alignement du cadre du pouce, ce qui permet de transposer les gestes humains vers différents types de mains robotiques sans réglage manuel des hyperparamètres. À partir de 96 démonstrations réussies collectées avec Teleopit, des politiques ACT et GR00T N1.7 ont atteint respectivement 90,0% et 95,0% de taux de réussite lors de déploiements réels sur l'humanoïde. Cette approche s'attaque à un goulot d'étranglement bien identifié du secteur robotique: la collecte de démonstrations de haute qualité pour entraîner des politiques de type VLA (vision-language-action). Les systèmes existants simplifient souvent les commandes des mains ou nécessitent des capteurs portables dédiés pour capter la motricité fine, ce qui limite le volume et la richesse des données exploitables. En proposant un pipeline unifié couvrant locomotion, manipulation et contrôle du point de vue, Teleopit vise à réduire le coût et la complexité de la génération de données d'entraînement, un enjeu central pour les laboratoires qui cherchent à faire passer leurs politiques d'apprentissage du stade démonstratif au déploiement réel. Le projet s'inscrit dans la vague de systèmes de téléopération VR pour humanoïdes qui s'est multipliée ces derniers mois, aux côtés d'initiatives comme Helix de Figure ou GR00T N2 de Nvidia, ce dernier étant d'ailleurs directement utilisé comme politique testée dans l'étude. Les auteurs, publiant sous un profil GitHub (botrunner64), mettent à disposition une page projet dédiée mais ne précisent pas de partenariat industriel ni de calendrier de commercialisation, ce qui situe pour l'instant Teleopit au stade de la recherche académique plutôt que du produit prêt à déployer.

RecherchePaper

1 source

3arXiv cs.RO

Au-delà du retargeting : téléopération humanoïde du corps entier, à faible latence et robuste, grâce à des primitives de mouvement atomiques apprises

Des chercheurs proposent une politique de téléopération du corps entier pour humanoïde qui supprime l'étape de retargeting en ligne, jusqu'ici standard dans ce type de système. Détaillée dans un preprint arXiv (2610.07891v1), l'approche mappe le mouvement humain brut directement vers les commandes articulaires du robot, en une seule passe avant du réseau de neurones. Elle a été testée sur un Unitree G1, en simulation puis sur matériel réel, avec quatre sources d'entrée : casque de réalité virtuelle, capture optique de mouvement, génération de mouvement à partir de texte et vidéo monoculaire. Selon les auteurs, la méthode surpasse les approches de référence en latence et en robustesse. L'abstract ne fournit toutefois ni valeur de latence en millisecondes, ni taux de réussite, ni détail sur les baselines retenues. L'enjeu est double. Le retargeting en ligne, qui adapte la cinématique humaine à la morphologie du robot, ajoute du délai et peut produire des cibles physiquement infaisables, source d'instabilité. Le deuxième problème est la fragilité face aux données hors distribution : les entrées réelles sont bruitées, partielles ou inhabituelles, et les politiques apprises sur des mouvements propres se dégradent alors. Pour y répondre, les auteurs apprennent un codebook de primitives de mouvement du corps entier. Il projette les observations atypiques sur des prototypes de mouvement plausibles et reconstruit un mouvement complet à partir d'entrées incomplètes, par exemple une vidéo qui ne montre qu'une partie du corps. Si les résultats se confirment, cela rapproche la téléopération de la collecte de données à grande échelle, où un opérateur avec un simple casque VR ou une caméra pourrait piloter un humanoïde sans pipeline de calibration lourd. Reste à vérifier la tenue sur des tâches longues, avec contacts et manipulation, qu'un travail de ce type ne démontre pas forcément. Ce travail s'inscrit dans la lignée des politiques de suivi de mouvement pour humanoïdes entraînées en simulation puis transférées au réel, où le G1 de Unitree est devenu la plateforme académique par défaut grâce à son prix relativement bas. Les systèmes de téléopération du corps entier existants reposent généralement sur une chaîne en deux temps, retargeting puis contrôleur de suivi, que cette étude fusionne en une seule politique. Les travaux concurrents poursuivent des objectifs voisins, notamment les modèles de contrôle généralistes comme GR00T chez NVIDIA, qui visent aussi une interface unifiée pour piloter les humanoïdes. Il s'agit ici d'une publication de recherche, pas d'un produit : aucun déploiement industriel ni calendrier commercial n'est annoncé. La prochaine étape logique serait une validation sur d'autres morphologies que le G1 et sur des tâches de manipulation, ainsi que la publication du code et des mesures de latence détaillées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Coordination corps-main à résidu contrôlé pour la téléopération humanoïde du corps entier

Un article publié sur arXiv (2609.18763v1) décrit une méthode pour corriger un défaut connu des systèmes de téléopération de robots humanoïdes à corps entier : la désynchronisation entre le suivi de mouvement du corps et le repositionnement des mains, deux modules aujourd'hui indépendants qui ne préservent pas la géométrie corps-mains, d'où des décalages de pose au poignet et aux doigts lors d'interactions bimanuelles. La méthode, baptisée "gated residual coordination", laisse ces deux modules gelés et leur ajoute des corrections bornées via une porte d'action conditionnée au mouvement, qui répartit l'autorité de correction entre groupes d'articulations, et des portes de récompense liées à la géométrie de référence pendant l'entraînement. Le contrôleur corporel de référence est calibré sur la plateforme humanoïde Agile One par une calibration morphologique multi-pose, puis entraîné avec un tracker basé sur SONIC et un jeu de données de mouvement construit par étapes. En simulation, les erreurs de géométrie poignet-doigts baissent de 39,2 à 56,3% sur des mouvements bimanuels issus du jeu GRAB, tandis que le taux de succès du suivi corporel global sur AMASS passe de 89,03% à 89,29%. Le problème visé est concret pour les intégrateurs de téléopération humanoïde : la cohérence corps-mains conditionne la fiabilité des tâches bimanuelles comme la saisie ou le transfert d'objet entre les mains, un enjeu direct pour la collecte de démonstrations servant à entraîner des modèles vision-language-action et pour le contrôle téléopéré en environnement industriel. L'atout de la méthode tient à sa modularité : elle évite de réentraîner les politiques de suivi corporel ou de retargeting déjà déployées, ce qui limite le coût d'intégration pour des équipes disposant d'une pile de téléopération existante. Le gain de 39 à 56% sur la précision géométrique est net, mais l'amélioration du taux de succès global du suivi corporel reste marginale, et les résultats ne sont pour l'instant validés qu'en simulation, sans démonstration publiée sur robot physique. Ce travail s'inscrit dans la lignée des pipelines de téléopération combinant un tracker de mouvement corporel et un module de retargeting dextre séparé, architecture répandue dans le secteur mais dépourvue jusqu'ici de coordination explicite entre les deux flux de commandes. Les auteurs s'appuient sur les jeux de capture de mouvement AMASS et GRAB, références classiques pour évaluer respectivement le suivi corporel global et l'interaction main-objet. À la différence d'une approche end-to-end entraînée depuis zéro, cette méthode résiduelle vise la compatibilité avec des modules déjà en production, ce qui pourrait faciliter son adoption par des équipes ayant déjà investi dans une pile de téléopération. Les prochaines étapes attendues sont une validation sur robot réel et une extension à des tâches de manipulation plus variées que celles couvertes par GRAB et AMASS.

RecherchePaper

1 source