RecherchearXiv cs.RO 3 juillet 2026

HEFT : téléopération d'humanoïde grandeur nature à charge lourde, guidage privilégié et curriculum par fenêtres

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent HEFT (Heavy-payload full-size humanoid teleoperation), un framework de téléopération détaillé dans une publication arXiv datée du 2 juillet 2026 (référence 2607.02332v1). Contrairement à la plupart des systèmes de suivi de mouvement validés sur des plateformes compactes ou sans charge réelle, HEFT est testé sur un humanoïde grande taille : L7, un robot de 175 cm pour 65 kg. Le robot reproduit des mouvements de téléopération incluant virages, marche avant et arrière, et squats, avec des charges utiles allant jusqu'à 24 kg. Deux briques techniques rendent cela possible : le Privileged Motion Guidance (PMG), qui entraîne le système à partir de références VR bruitées combinées à des références reconstruites physiquement plausibles, et le Windowed Payload Curriculum (WPC), qui augmente progressivement la charge tolérée grâce à des plafonds guidés par un expert.

Cette démonstration s'attaque à un angle mort connu du secteur humanoïde : l'écart entre les vidéos de démonstration et la réalité opérationnelle. Les casques et contrôleurs VR grand public utilisés en téléopération génèrent du bruit, de la dérive et des erreurs de retargeting qui deviennent critiques sur un robot grande taille, dont l'inertie plus élevée et les marges d'équilibre plus étroites amplifient le moindre écart de trajectoire. En maintenant la stabilité tout en portant des charges proches d'un tiers de son propre poids, HEFT apporte un élément de preuve concret que le transfert VR vers robot peut tenir à l'échelle humaine réelle, un point disputé alors que la plupart des démonstrations humanoïdes commerciales (Figure 03, Optimus, GR00T N2, Helix) mettent l'accent sur la manipulation fine plutôt que sur le port de charges lourdes. Pour les intégrateurs industriels, cela ouvre la perspective de tâches logistiques, chargement, port de bacs, palettisation, aujourd'hui hors de portée des humanoïdes commerciaux.

La téléopération reste la voie privilégiée par de nombreux laboratoires pour collecter des données d'entraînement avant d'automatiser les tâches via des politiques apprises, plutôt que de dépendre uniquement de la simulation. HEFT s'inscrit dans cette lignée de travaux académiques sur le suivi de mouvement humanoïde, aux côtés des approches VLA déployées par les acteurs commerciaux du secteur. Le papier ne mentionne aucun plan de commercialisation ni partenaire industriel pour L7 : il s'agit à ce stade d'une publication de recherche démontrant une faisabilité technique, pas d'un déploiement en environnement réel. Aucun calendrier de suite n'est communiqué, mais la validation sur une charge de 24 kg positionne ce travail comme une référence potentielle pour les futurs benchmarks de téléopération humanoïde à charge lourde, un axe encore peu couvert face aux démonstrations de dextérité manuelle qui dominent la littérature.

Dans nos dossiers

Figure NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Synthèse naturelle du mouvement assis-debout pour humanoïdes via curriculum d'assistance guidée et récompenses par étapes

Une équipe de recherche publie un article arXiv (arXiv:2608.20823, mis en ligne le 24 aout 2026) qui présente une méthode d'apprentissage par renforcement pour générer un mouvement naturel de passage assis-debout (sit-to-stand, STS) chez un humanoïde, sans aucune démonstration humaine ni trajectoire de référence. Une politique unique, entraînée par Proximal Policy Optimisation (PPO), combine trois mécanismes: un curriculum couple force/hauteur de chaise, ou une force verticale assistant le bassin facilite l'exploration au début de l'entrainement puis décroît progressivement a mesure que des chaises plus hautes sont introduites; un échantillonnage aléatoire de poses initiales et cibles générées par cinématique inverse sur plus de huit hauteurs de siège différentes; et une fonction de récompense inspirée de la biomécanique, qui guide le moment angulaire au décollement du siège et la transition du centre de pression pour un mouvement fluide et peu couteux en effort. Sur un évaluateur déterministe sans assistance de force, la politique atteint plus de 97% de réussite de mise en position debout équilibrée sur les huit hauteurs testées, y compris depuis des assises très enfoncées, un cas ou les approches antérieures échouaient plus fréquemment. Ce résultat est significatif parce que le passage assis-debout reste un problème de contrôle particulièrement difficile: un humanoïde dispose d'une infinité de trajectoires possibles pour se lever en gardant l'équilibre, et les solutions existantes reposent généralement sur des démonstrations captées par motion capture ou des trajectoires codées a la main, ce qui limite leur adaptation a de nouvelles hauteurs de siège ou postures de départ. Montrer qu'une politique RL entraînée entièrement en simulation, sans données démonstratives, généralisé a huit hauteurs de chaise et surpasse l'état de l'art sur les postures profondément assises ouvre une piste pour réduire l'ingénierie manuelle requise a chaque nouveau scenario de mobilité. C'est un signal utile pour les équipes travaillant sur le contrôle bas niveau de robots humanoïdes destines a des environnements humains, ou se relever depuis des assises variées (canapé, chaise basse, sol) est une brique fonctionnelle courante mais rarement rendue robuste. Ces résultats restent toutefois obtenus uniquement en simulation, sur un évaluateur déterministe sans le bruit ni les incertitudes d'un robot physique réel: aucun déploiement matériel n'est rapporte, et le transfert vers le monde réel n'est pas traite dans l'article. La démarche s'inscrit dans la lignée des travaux sur le curriculum learning applique au contrôle humanoïde par renforcement, une approche distincte des modèles généralistes de type vision-language-action, davantage orientes vers la manipulation et les taches de haut niveau que vers le contrôle fin de l'équilibre corporel. Aucune entreprise ni plateforme robotique commerciale n'est associée a ces travaux, qui relèvent de la recherche académique. Les auteurs ne mentionnent pas de suite prévue, comme un portage sur robot physique, laissant ouverte la question de la robustesse hors simulation.

RecherchePaper

1 source

2arXiv cs.RO

Vers la téléopération et manipulation locomotrice miniature humanoïde par réalité virtuelle et apprentissage par renforcement

Le stack de téléopération pour humanoïdes complets a connu des progrès rapides ces dernières années, combinant réalité virtuelle pour le contrôle du haut du corps et apprentissage par renforcement pour l'équilibre et la locomotion du bas du corps, permettant à un seul opérateur distant de voir, manipuler et se déplacer dans un environnement physique réel. Un article publié sur arXiv (2607.20399v1) transpose cette approche vers les humanoïdes miniatures, testée sur la plateforme ROBOTIS OP3. Le système développé permet une marche jusqu'à 0,45 m/s, indépendamment des mouvements des bras de l'opérateur. Une expérience de télé-loco-manipulation a été menée avec un opérateur humain expert chargé de relocaliser des cubes de 40 grammes : en moyenne, deux cubes différents ont été déplacés en moins de 10 minutes, pour une distance totale parcourue de 5 mètres. L'enjeu dépasse la simple démonstration technique. Les stacks combinant VR et RL restent aujourd'hui réservés aux robots humanoïdes de taille adulte, coûteux et souvent inaccessibles à la communauté académique. Les humanoïdes miniatures, plus répandus et abordables, embarquent en général moins de capteurs et de degrés de liberté, ce qui limitait jusqu'ici l'application de ces techniques de contrôle avancées. En portant ce contrôle compliant de bout en bout sur du matériel accessible, les chercheurs ouvrent la possibilité d'expérimenter la télé-loco-manipulation sans dépendre de plateformes à plusieurs dizaines de milliers de dollars, ce qui pourrait démocratiser la recherche sur le contrôle whole-body des humanoïdes. Le ROBOTIS OP3 est une plateforme open-source largement utilisée dans les laboratoires de robotique pour prototyper des algorithmes de contrôle, contrairement aux plateformes propriétaires des acteurs commerciaux du secteur humanoïde. L'expérience reste limitée en échelle, un seul opérateur expert et une tâche simple de déplacement de cubes, et les auteurs présentent leurs résultats comme une preuve de potentiel plutôt qu'un système finalisé. Les prochaines étapes attendues concernent l'élargissement des tâches de manipulation testées et une évaluation plus systématique face aux stacks équivalents développés pour les humanoïdes de taille réelle.

RecherchePaper

1 source

3arXiv cs.RO

Coordination corps-main à résidu contrôlé pour la téléopération humanoïde du corps entier

Un article publié sur arXiv (2609.18763v1) décrit une méthode pour corriger un défaut connu des systèmes de téléopération de robots humanoïdes à corps entier : la désynchronisation entre le suivi de mouvement du corps et le repositionnement des mains, deux modules aujourd'hui indépendants qui ne préservent pas la géométrie corps-mains, d'où des décalages de pose au poignet et aux doigts lors d'interactions bimanuelles. La méthode, baptisée "gated residual coordination", laisse ces deux modules gelés et leur ajoute des corrections bornées via une porte d'action conditionnée au mouvement, qui répartit l'autorité de correction entre groupes d'articulations, et des portes de récompense liées à la géométrie de référence pendant l'entraînement. Le contrôleur corporel de référence est calibré sur la plateforme humanoïde Agile One par une calibration morphologique multi-pose, puis entraîné avec un tracker basé sur SONIC et un jeu de données de mouvement construit par étapes. En simulation, les erreurs de géométrie poignet-doigts baissent de 39,2 à 56,3% sur des mouvements bimanuels issus du jeu GRAB, tandis que le taux de succès du suivi corporel global sur AMASS passe de 89,03% à 89,29%. Le problème visé est concret pour les intégrateurs de téléopération humanoïde : la cohérence corps-mains conditionne la fiabilité des tâches bimanuelles comme la saisie ou le transfert d'objet entre les mains, un enjeu direct pour la collecte de démonstrations servant à entraîner des modèles vision-language-action et pour le contrôle téléopéré en environnement industriel. L'atout de la méthode tient à sa modularité : elle évite de réentraîner les politiques de suivi corporel ou de retargeting déjà déployées, ce qui limite le coût d'intégration pour des équipes disposant d'une pile de téléopération existante. Le gain de 39 à 56% sur la précision géométrique est net, mais l'amélioration du taux de succès global du suivi corporel reste marginale, et les résultats ne sont pour l'instant validés qu'en simulation, sans démonstration publiée sur robot physique. Ce travail s'inscrit dans la lignée des pipelines de téléopération combinant un tracker de mouvement corporel et un module de retargeting dextre séparé, architecture répandue dans le secteur mais dépourvue jusqu'ici de coordination explicite entre les deux flux de commandes. Les auteurs s'appuient sur les jeux de capture de mouvement AMASS et GRAB, références classiques pour évaluer respectivement le suivi corporel global et l'interaction main-objet. À la différence d'une approche end-to-end entraînée depuis zéro, cette méthode résiduelle vise la compatibilité avec des modules déjà en production, ce qui pourrait faciliter son adoption par des équipes ayant déjà investi dans une pile de téléopération. Les prochaines étapes attendues sont une validation sur robot réel et une extension à des tâches de manipulation plus variées que celles couvertes par GRAB et AMASS.

RecherchePaper

1 source

4arXiv cs.RO

Téléopération bilatérale du corps entier avec estimation multi-étapes des paramètres d'objets pour la locomanipulation humanoïde à roues

Un article mis à jour sur arXiv (référence 2508.09846, version 2) décrit un système de téléopération bilatérale corps entier pour un robot humanoïde à roues effectuant des tâches de manipulation en mouvement. L'apport technique central est un module d'estimation en ligne, en plusieurs étapes, des paramètres inertiels de l'objet saisi (masse, centre de masse, inertie). Le pipeline enchaîne un estimateur de taille par vision, une estimation initiale générée par un grand modèle vision-langage (VLM), puis un raffinement par échantillonnage hiérarchique découplé en plusieurs hypothèses, conçu pour limiter l'impact d'une erreur du VLM. Ce module tourne en parallèle d'une simulation haute-fidélité et du matériel réel, avec mise à jour en temps réel du point d'équilibre du robot. Les auteurs valident l'approche sur un prototype maison équipé d'une pince robotique et d'une interface homme-machine, démontrant en temps réel des tâches de levage, transport et dépose d'une charge représentant environ un tiers du poids corporel du robot. Pour l'industrie robotique, ce travail cible un verrou concret de la téléopération à retour haptique : sans connaissance des propriétés physiques de l'objet manipulé, le retour de force transmis à l'opérateur reste imprécis, ce qui brise la dynamique du contrôle corps entier. Combiner vision et VLM pour réduire l'espace de recherche avant d'affiner par échantillonnage accélérerait, selon les auteurs, l'estimation par rapport à des méthodes purement stochastiques ; l'abstract ne fournit toutefois aucun temps de cycle chiffré ni comparaison directe, ce qui invite à la prudence sur l'ampleur réelle du gain. L'intérêt pour les intégrateurs est de voir les VLM utilisés non pas pour générer des politiques d'action autonomes à la manière des approches VLA, mais comme prior physique exploitable en téléopération, une piste intermédiaire entre autonomie complète et contrôle humain pur. Cette publication s'inscrit dans la recherche sur la téléopération bilatérale de robots humanoïdes, où l'estimation dynamique des objets manipulés reste un problème ouvert. Elle se distingue des approches commerciales dominantes de robots humanoïdes bipèdes visant l'autonomie complète via des modèles VLA génératifs, en misant plutôt sur une plateforme à roues pilotée par un opérateur humain en boucle, un choix qui privilégie stabilité et charge utile relative. L'article ne précise ni institution porteuse ni calendrier de commercialisation : il s'agit d'une démonstration de faisabilité en laboratoire, sans pilote industriel ni partenaire annoncé à ce stade.

RecherchePaper

1 source