RecherchearXiv cs.RO 25 août 2026

Téléopération bilatérale du corps entier avec estimation multi-étapes des paramètres d'objets pour la locomanipulation humanoïde à roues

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article mis à jour sur arXiv (référence 2508.09846, version 2) décrit un système de téléopération bilatérale corps entier pour un robot humanoïde à roues effectuant des tâches de manipulation en mouvement. L'apport technique central est un module d'estimation en ligne, en plusieurs étapes, des paramètres inertiels de l'objet saisi (masse, centre de masse, inertie). Le pipeline enchaîne un estimateur de taille par vision, une estimation initiale générée par un grand modèle vision-langage (VLM), puis un raffinement par échantillonnage hiérarchique découplé en plusieurs hypothèses, conçu pour limiter l'impact d'une erreur du VLM. Ce module tourne en parallèle d'une simulation haute-fidélité et du matériel réel, avec mise à jour en temps réel du point d'équilibre du robot. Les auteurs valident l'approche sur un prototype maison équipé d'une pince robotique et d'une interface homme-machine, démontrant en temps réel des tâches de levage, transport et dépose d'une charge représentant environ un tiers du poids corporel du robot.

Pour l'industrie robotique, ce travail cible un verrou concret de la téléopération à retour haptique : sans connaissance des propriétés physiques de l'objet manipulé, le retour de force transmis à l'opérateur reste imprécis, ce qui brise la dynamique du contrôle corps entier. Combiner vision et VLM pour réduire l'espace de recherche avant d'affiner par échantillonnage accélérerait, selon les auteurs, l'estimation par rapport à des méthodes purement stochastiques ; l'abstract ne fournit toutefois aucun temps de cycle chiffré ni comparaison directe, ce qui invite à la prudence sur l'ampleur réelle du gain. L'intérêt pour les intégrateurs est de voir les VLM utilisés non pas pour générer des politiques d'action autonomes à la manière des approches VLA, mais comme prior physique exploitable en téléopération, une piste intermédiaire entre autonomie complète et contrôle humain pur.

Cette publication s'inscrit dans la recherche sur la téléopération bilatérale de robots humanoïdes, où l'estimation dynamique des objets manipulés reste un problème ouvert. Elle se distingue des approches commerciales dominantes de robots humanoïdes bipèdes visant l'autonomie complète via des modèles VLA génératifs, en misant plutôt sur une plateforme à roues pilotée par un opérateur humain en boucle, un choix qui privilégie stabilité et charge utile relative. L'article ne précise ni institution porteuse ni calendrier de commercialisation : il s'agit d'une démonstration de faisabilité en laboratoire, sans pilote industriel ni partenaire annoncé à ce stade.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

HULK : apprendre la locomanipulation de force du corps entier pour les robots humanoïdes

Des chercheurs ont publié sur arXiv (octobre 2026) HULK, un cadre de contrôle du corps entier destiné à la manipulation locomotrice « avec force » sur robots humanoïdes, c'est-à-dire le transport d'objets volumineux et lourds. Le principe repose sur une commande prédictive (MPC) qui guide l'apprentissage par renforcement grâce à des prédictions de la dynamique en charge. Deux politiques « enseignantes » sont entraînées : l'une suit des mouvements de bras sous forces appliquées aux poignets, l'autre marche en tenant un grand objet plaqué contre le corps. Une fonction barrière de contrôle fondée sur le « capture point » vient renforcer l'enseignante des poignets pendant l'entraînement pour préserver l'équilibre sous charge. Les deux enseignantes sont ensuite distillées en une seule politique. L'évaluation couvre la simulation et le Unitree G1. En simulation, l'enseignante dotée de la barrière affiche les erreurs de suivi de vitesse avant et latérale les plus faibles parmi les contrôleurs comparés, à 10 kg par bras, et réduit de 35,7 % l'excursion agrégée du mouvement divergent (DCM) par rapport au seul apprentissage guidé par MPC. Elle résiste à des poussées sur le torse allant jusqu'à 130 N. L'intérêt tient au problème ciblé. La plupart des politiques de locomotion apprises pour humanoïdes sont entraînées à vide ou avec des charges légères, alors que les usages logistiques et industriels impliquent des caisses, bacs ou cartons qui déplacent le centre de masse et imposent un effort soutenu sur tout le haut du corps. En injectant la dynamique chargée dans l'entraînement, HULK s'attaque à l'un des écarts entre démonstrations et exploitation réelle. Le chiffre de 10 kg par bras reste toutefois à relativiser : il est obtenu en simulation, sur une plateforme G1 de taille et de puissance modestes, et l'article ne fournit, dans ce résumé, ni temps de cycle, ni taux de réussite sur matériel, ni durée de port. La réduction de 35,7 % du DCM est un gain relatif entre variantes de la même méthode, pas une performance absolue. La preuve d'une robustesse en conditions réelles, avec des objets variés et des sols imparfaits, reste à faire. HULK s'inscrit dans la vague des approches « teacher-student » et de contrôle du corps entier par apprentissage, déjà largement testées sur le G1 pour la marche, le saut ou les mouvements expressifs, et dans la recherche de bases communes entre MPC, qui apporte des garanties physiques, et RL, qui apporte la robustesse. Les acteurs industriels, dont Figure, Tesla avec Optimus et Agility, visent des charges utiles plus élevées sur des machines propriétaires, sans publier leurs méthodes de contrôle. Ici, il s'agit d'une contribution académique, sans produit ni pilote annoncé. La suite logique serait un transfert sur des humanoïdes plus grands et des charges réelles plus lourdes, avec des mesures publiées sur matériel.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

CWI : système d'imitation du corps entier pour la loco-manipulation de robots humanoïdes

Des chercheurs ont publié fin juin 2026 sur arXiv (réf. 2606.27676) le framework CWI (Composite Whole-Body Imitation), une architecture de contrôle pour robots humanoïdes visant à coordonner locomotion et manipulation bimanuelle en simultané. Le système a été évalué en simulation puis déployé sur un LimX Oli, humanoïde pleine taille du fabricant chinois LimX Robotics. L'approche repose sur une dissociation du recours aux données de capture de mouvement (MoCap) : les données MoCap de manipulation diversifiées pilotent le contrôle du haut du corps, tandis que la locomotion est guidée par deux discriminateurs adversariaux (Adversarial Motion Prior, AMP) entraînés sur des clips curatés de marche et d'accroupissement. Une architecture multi-critique réduit les conflits entre objectifs de locomotion, de manipulation et de style de mouvement ; une étape de distillation enseignant-élève produit ensuite une politique conditionnée uniquement sur les poses des mains et des commandes de vitesse et hauteur. La loco-manipulation reste l'un des verrous majeurs de la robotique humanoïde. Les méthodes purement par renforcement, sans MoCap, souffrent de récompenses creuses et nécessitent des curricula finement réglés ; les méthodes imitant le corps entier butent sur le déséquilibre des datasets, les trajectoires de locomotion trop dynamiques dégradant la stabilité globale. CWI propose une dissociation architecturale qui contourne les deux écueils. Le résultat pratique est une téléopération sans équipement MoCap complet, ce qui abaisse le seuil d'intégration industrielle. Pour les intégrateurs et les décideurs B2B, cela signifie qu'un humanoïde capable d'agir dans des environnements mixtes (déplacements et saisie d'objets) devient envisageable sans infrastructure de capture de mouvement coûteuse. Cela dit, la publication ne fournit aucune métrique de temps de cycle ni de volumes de déploiement, ce qui invite à lire ces résultats comme une preuve de concept compétitive, pas comme un produit shipé. CWI s'inscrit dans une vague de travaux combinant apprentissage par renforcement et imitation de mouvement humain, dont l'Adversarial Motion Prior (AMP) de Peng et al. constitue la brique fondatrice. LimX Robotics reste un acteur discret face aux mastodontes du secteur : Figure AI (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (Pi-0) ou encore Boston Dynamics (Atlas) travaillent sur des architectures comparables intégrant contrôle corps entier et politiques Vision-Language-Action (VLA). CWI ne mentionne ni calendrier de déploiement industriel, ni partenariat commercial : il s'agit d'un preprint arXiv sans revue par les pairs publiée. Les prochaines étapes probables passeront par une validation en conditions réelles plus variées et une publication dans une conférence robotique de référence (ICRA, IROS ou RAL).

RecherchePaper

1 source

3arXiv cs.RO

ULTRA : contrôle multimodal unifié pour la loco-manipulation humanoïde autonome du corps entier

Une équipe de recherche présente ULTRA, un framework unifié pour le contrôle autonome de la loco-manipulation du corps entier chez les humanoïdes, publié en version révisée sur arXiv (2603.03279v2). Le système combine un algorithme de retargeting neuronal guidé par la physique, qui transpose des captures de mouvement à grande échelle vers la morphologie du robot en préservant la plausibilité physique des contacts, et un contrôleur multimodal unique traitant références denses et consignes de tâches éparses, à partir d'un état précis ou d'une vision égocentrique bruitée. La méthode distille une politique de suivi universelle, compresse les compétences motrices dans un espace latent compact, puis l'affine par apprentissage par renforcement pour améliorer la robustesse hors distribution. ULTRA a été validé en simulation et sur un robot humanoïde réel Unitree G1. L'apport central est de faire passer le contrôle humanoïde du suivi de trajectoires prédéfinies à une génération de comportement pilotée par la perception et des objectifs de haut niveau, sans référence de mouvement au moment du test, un verrou connu du secteur qui tient à la rareté des données de retargeting et à la couverture limitée des répertoires de compétences. En obtenant un comportement coordonné du corps entier à partir d'une intention éparse et d'une perception embarquée seule, sur matériel réel et pas seulement en simulation, les auteurs apportent un élément factuel au débat sur l'écart entre démonstrations scriptées et autonomie réelle, avec des résultats supérieurs aux méthodes de suivi pur à répertoire limité, un signal utile pour intégrateurs et laboratoires. Ce travail s'inscrit dans la lignée des contrôleurs de suivi par imitation pour humanoïdes, dont les limites sont pointées par les auteurs: données retargetées rares, difficulté à passer à l'échelle, dépendance à des références figées. ULTRA cherche à lever ce verrou en unifiant imitation à grande échelle et apprentissage par renforcement dans un seul contrôleur, validé sur Unitree G1, plateforme de recherche courante dans les laboratoires travaillant sur la loco-manipulation humanoïde. L'article ne précise ni affiliation institutionnelle ni calendrier de déploiement industriel: il s'agit d'une contribution de recherche, à comparer aux prochaines générations de contrôleurs généralistes pour humanoïdes plutôt qu'à un produit commercial.

RecherchePaper

1 source

4arXiv cs.RO

MASkillBlender : coordination décentralisée du corps entier pour la loco-manipulation multi-humanoïdes par fusion de compétences

Des chercheurs publient sur arXiv (2610.01102) MASkillBlender, un cadre d'apprentissage par renforcement multi-agent (MARL) destiné à la coordination décentralisée de plusieurs humanoïdes pour des tâches de locomanipulation, c'est-à-dire des tâches où les robots marchent et manipulent des objets en même temps. Le principe tient en deux étages. Des compétences de corps entier, pré-entraînées pour un humanoïde seul, servent de briques réutilisables. Une politique de haut niveau, partagée et décentralisée, apprend ensuite à les combiner à partir de récompenses au niveau de la tâche uniquement. Elle n'a besoin ni de trajectoires de référence propres à chaque tâche, ni de l'ingénierie de récompense lourde que demandent d'ordinaire les approches existantes. Les auteurs ajoutent une augmentation de données par permutation pour les systèmes homogènes. Elle exploite l'interchangeabilité des robots identiques. Ils démontrent aussi que les échantillons permutés conservent la direction du gradient de politique de l'échantillon d'origine dans le formalisme du jeu de Markov homogène. L'évaluation couvre plusieurs tâches de coordination et deux morphologies d'humanoïdes, uniquement en simulation. L'intérêt tient au verrou que visent les auteurs. Le contrôle corps entier d'un seul humanoïde progresse, mais le passage à plusieurs robots fait exploser la dimension de l'espace d'action, impose une prise de décision décentralisée et complique le passage à l'échelle. Réutiliser des compétences individuelles comme primitives, plutôt que d'apprendre chaque tâche coopérative de zéro, est une piste crédible pour déplacer des charges encombrantes à deux ou plus, ce qui concerne la logistique et la manutention. Les résultats sont pourtant limités. Ils portent sur la simulation, sans transfert sim-to-real, sans matériel réel et sans chiffres publiés dans le résumé (taux de réussite, nombre de robots, temps d'entraînement). La mention de performances « fortes » reste donc à vérifier dans l'article complet. Rien ne prouve non plus que les compétences mélangées tiendront face aux contacts, aux délais de communication et aux écarts de dynamique du monde réel. Ce travail relève de la recherche académique, pas d'un produit ni d'un déploiement. Le contexte est celui d'un champ qui s'est d'abord concentré sur la locomotion et la manipulation d'un humanoïde isolé, avec des politiques apprises en simulation puis transférées. La coordination multi-robots reposait souvent sur des conceptions spécifiques à chaque tâche ou sur des références de mouvement coûteuses à produire. MASkillBlender se rattache à cette lignée de travaux sur le mélange de compétences, qu'il étend au cadre multi-agent. Les acteurs industriels qui visent des flottes d'humanoïdes en entrepôt ou en usine misent surtout sur des modèles généralistes de type VLA et sur des déploiements monorobot. La coordination décentralisée de plusieurs humanoïdes reste, elle, peu abordée publiquement. Les prochaines étapes à surveiller sont la validation sur robots physiques, le passage à davantage d'agents et une comparaison chiffrée avec les méthodes centralisées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source