RecherchearXiv cs.RO 8 octobre 2026

Suivi précis de l'effecteur final en SE(3) dans le contrôle du corps entier des humanoïdes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont présenté ResGAC, un contrôleur de corps entier pour humanoïde conçu pour suivre avec précision la pose d'un effecteur terminal dans SE(3), c'est-à-dire en position et en orientation. Décrit dans un préprint arXiv (2610.09479), le système associe un contrôle d'admittance géométrique (GAC) à de l'apprentissage par renforcement résiduel. Le GAC fournit un retour d'information structuré dans l'espace de la tâche et produit les consignes nominales de position articulaire des bras. Le réseau résiduel compense les dynamiques non modélisées et coordonne la locomotion et l'équilibre dans le même espace d'action, celui des positions articulaires. La validation a eu lieu sur un Unitree G1 réel, sur quatre bancs d'essai de suivi en position debout. ResGAC y obtient des erreurs de translation et de rotation inférieures à celles de plusieurs références, dont SONIC. Dans une tâche d'insertion de cheville dans un trou (peg-in-hole) en position debout, il atteint 90 % de réussite, contre 50 % pour SONIC. Il assure aussi un suivi précis de la pose de l'effecteur dans le repère monde pendant des mouvements du bas du corps.

Le résultat touche un point faible connu de la manipulation humanoïde. Les politiques apprises de bout en bout, de type VLA ou suivi de mouvement, savent produire des comportements variés, mais elles tiennent mal la précision centimétrique ou millimétrique, car les oscillations de la base flottante, la gravité, le couplage dynamique et les perturbations de la marche se transmettent à la main. La tâche de peg-in-hole a ici valeur de test, puisqu'elle exige cette précision. Un taux de 90 % contre 50 % suggère qu'une structure géométrique explicite, combinée à un résiduel appris, peut combler une partie de l'écart entre démonstration et fiabilité industrielle. Une réserve s'impose : la validation porte sur un seul robot, le G1, plateforme de recherche peu coûteuse, et sur des essais statiques en position debout. Le nombre d'essais et la dispersion des résultats ne figurent pas dans le résumé, et les vidéos fournies sont par nature sélectionnées. La marche avec manipulation de précision n'est démontrée que pour le suivi en repère monde, pas pour des tâches d'assemblage.

L'idée centrale est une formulation géométrique invariante à gauche, qui permet d'appliquer la même loi GAC dans différents repères de manipulation. Les auteurs l'exploitent avec un repère de cap attaché au sol : il conserve la locomotion planaire mais retire le roulis, le tangage et le pompage du bassin de la référence de manipulation. Les mouvements du bassin se propagent alors moins vers l'effecteur désiré. SONIC, la référence principale, représente l'approche de suivi de mouvement généraliste pour humanoïdes, que ce travail cherche à dépasser sur la précision. La suite logique serait de passer à des plateformes plus grandes, à des charges utiles réelles et à des tâches d'assemblage en marchant, ce que l'article ne démontre pas. Les vidéos et le code sont annoncés sur le site du projet resgac.github.io.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Unitree arXiv cs.RO

À lire aussi

1arXiv cs.RO

Affinage tenant compte du filtre pour un suivi sûr du corps entier d'un robot humanoïde

Des chercheurs publient sur arXiv (2610.02341) CoFiT, pour Constrained Filter-aware Tuning, une méthode de fine-tuning qui adapte un tracker de mouvement humanoïde pré-entraîné à la présence d'un filtre de sécurité. Le tracker est une politique d'apprentissage par renforcement qui suit une référence fournie par un planificateur, un téléopérateur ou un générateur de mouvement. Le filtre, de type control barrier function (CBF), corrige les sorties de la politique à l'exécution pour respecter de nouvelles contraintes. Les auteurs testent la méthode sur deux trackers existants, TWIST2 et SONIC, dans diverses scènes de contraintes. Par rapport à un entraînement limité au filtre seul, CoFiT réduit le temps de violation de 91 % sur TWIST2 et de 21 % sur SONIC, avec des corrections du filtre moins importantes. Sur un Unitree G1 réel, la réduction atteint 83 % pour TWIST2. Tous les essais se terminent sans intervention de l'opérateur, contre 50 % d'essais de référence qui ont exigé un arrêt manuel. Le nombre d'essais n'est pas précisé dans le résumé. L'intérêt tient au constat que tracker et filtre de sécurité ne peuvent pas être conçus séparément. Le filtre modifie les actions exécutées, donc aussi la distribution des états que la politique rencontre, ce qui crée des écarts de dynamique, d'objectif et d'information entre ce que le tracker a appris et ce qu'il subit. Pour un intégrateur, l'architecture « référence, tracker RL, filtre CBF » ne garantit donc pas la sécurité par simple empilement. Le fine-tuning d'un tracker existant, sans réentraînement complet, offre une voie pragmatique vers le déploiement en environnement non structuré. L'écart de gain entre TWIST2 (91 %) et SONIC (21 %) signale toutefois que le bénéfice dépend fortement du tracker de départ. La validation matérielle repose sur un seul robot, le G1, un humanoïde de recherche à faible coût, et sur des scénarios de contraintes dont la complexité reste à examiner dans l'article complet. Ce travail s'inscrit dans la généralisation des contrôleurs de suivi de mouvement du corps entier, devenus la couche d'exécution standard de la téléopération et des politiques pilotées par des modèles génératifs. Les CBF fournissent depuis longtemps des garanties de sécurité en robotique, mais surtout sur des systèmes plus simples. Il s'agit d'une prépublication v1, non évaluée par des pairs, sans déploiement industriel ni produit annoncé. Les suites probables sont des essais sur d'autres plateformes, des contraintes plus riches comme le contact ou l'évitement de personnes, et une extension à d'autres trackers. Les auteurs revendiquent des principes de conception, ce qui sera utile à tout acteur combinant politique apprise et couche de sécurité certifiable, y compris en Europe, où les exigences de sécurité machine pèsent sur les humanoïdes.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Rhythm : apprentissage du contrôle interactif corps entier pour deux robots humanoïdes

Des chercheurs ont publié en mars 2026 sur arXiv un framework baptisé Rhythm, conçu pour piloter simultanément deux robots humanoïdes Unitree G1 en interaction physique directe. Le système repose sur trois composants : un module IAMR (Interaction-Aware Motion Retargeting) qui génère des références de mouvement réalistes à partir de captures de données humaines, une politique d'apprentissage par renforcement IGRL (Interaction-Guided Reinforcement Learning) qui modélise les dynamiques de contact couplées via des récompenses basées sur des graphes, et un pipeline de transfert sim-to-real permettant de déployer ces comportements sur robots physiques. Les comportements validés incluent l'accolade et la danse synchronisée entre deux G1, transférés de simulation vers le monde réel. Il s'agit d'un travail académique, pas d'un produit commercialisé. L'intérêt technique est dans la résolution du problème de contact couplé multi-corps : quand deux humanoïdes se touchent, les efforts mécaniques se propagent en boucle entre les deux chaînes cinématiques, rendant le contrôle instable. Rhythm aborde ce problème par des récompenses graph-based qui capturent explicitement l'interaction entre les deux agents, plutôt que de traiter chaque robot indépendamment. Pour un intégrateur ou un ingénieur robotique, c'est une validation que le sim-to-real fonctionne même pour des dynamiques de contact bilatérales, un verrou qui bloquait la plupart des approches multi-robots à manipulation physique. Cela ouvre la voie à des tâches collaboratives exigeant une coordination fine, comme le port de charges lourdes à deux, le transfert d'objets ou l'assemblage bimanuel étendu. Le robot Unitree G1 est une plateforme commerciale accessible (environ 16 000 dollars), ce qui donne à ces résultats une reproductibilité supérieure aux travaux sur robots propriétaires. Dans la course aux humanoïdes, les acteurs comme Figure (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (Pi-0) et Boston Dynamics se concentrent sur des déploiements unitaires en environnement industriel ; la coordination physique entre deux humanoïdes reste un espace peu exploré commercialement. Rhythm ne s'inscrit pas encore dans une roadmap produit annoncée, mais la disponibilité du code sur arXiv et le choix du G1 suggèrent une communauté de recherche qui converge vers la standardisation des plateformes, préfigurant des pilotes industriels à horizon 18-36 mois.

RecherchePaper

1 source

3arXiv cs.RO

ViBe : adaptation du comportement visuel pour le contrôle du corps entier des humanoïdes perceptifs

Un preprint publié sur arXiv (2609.09918) décrit ViBe (Visual Behavior Adaptation), un framework de post-entraînement qui ajoute une perception visuelle aux contrôleurs de suivi de mouvement pour humanoïdes à corps complet. La méthode réutilise des encodeurs visuels pré-entraînés via un module extracteur multi-requêtes, injecte ce retour perceptif dans le tracker par des adaptateurs low-rank (LoRA) pour un réglage économe en paramètres, puis ajuste l'ensemble par optimisation de politique à partir d'un reward de tâche et d'un jeu de données de référence. Sur quatre tâches, la marche perceptive sur trottoirs et parcours type parkour, le repositionnement d'un cube (Repose Cube), la locomotion-manipulation d'objets variés et l'esquive de balles (dodgeball), le transfert sim-to-real s'effectue en zero-shot et reste robuste en extérieur, en faible luminosité et face à des distracteurs visuels RGB, y compris pour une variante orientée objectif de Repose Cube résolue avec un planificateur volontairement simple. L'apport ne se limite pas à la démonstration technique. Les trackers de mouvement actuels, entraînés en simulation par imitation de trajectoires, n'intègrent aucune perception extéroceptive et dépendent donc d'un planificateur de haut niveau pour réagir à l'environnement. Les contrôleurs perceptifs existants comblaient ce manque en entraînant des encodeurs purement géométriques depuis zéro, plus faciles à transférer en réel mais pauvres en sémantique, et en passant par une distillation élève-enseignant propre à chaque tâche, coûteuse à répéter. En réutilisant des encodeurs visuels pré-entraînés et en cantonnant l'adaptation à des modules low-rank, ViBe suggère que le goulot d'étranglement du contrôle humanoïde perceptif se déplace de la simulation physique, déjà largement maîtrisée, vers l'intégration efficace de la perception sémantique, un point clé pour les intégrateurs qui cherchent à sortir ces robots des environnements contrôlés d'usine. Le travail s'inscrit dans la lignée de l'apprentissage par renforcement à grande échelle pour la locomotion humanoïde, où le transfert sim-to-real reste le paradigme dominant, et se distingue des architectures vision-langage-action de bout en bout comme Pi-0 ou GR00T N2 en proposant une adaptation légère d'un tracker déjà entraîné plutôt qu'une politique généraliste entraînée sur un large corpus de démonstrations. Publié comme contribution académique, sans partenariat industriel ni plateforme commerciale nommée à ce stade, l'article n'évoque aucun déploiement réel. La suite logique consisterait à valider la méthode sur des humanoïdes commerciaux et à la comparer directement, en coût d'entraînement et en robustesse, aux pipelines de distillation élève-enseignant aujourd'hui utilisés par les acteurs du secteur.

RecherchePaper

1 source

4arXiv cs.RO

Coordination corps-main à résidu contrôlé pour la téléopération humanoïde du corps entier

Un article publié sur arXiv (2609.18763v1) décrit une méthode pour corriger un défaut connu des systèmes de téléopération de robots humanoïdes à corps entier : la désynchronisation entre le suivi de mouvement du corps et le repositionnement des mains, deux modules aujourd'hui indépendants qui ne préservent pas la géométrie corps-mains, d'où des décalages de pose au poignet et aux doigts lors d'interactions bimanuelles. La méthode, baptisée "gated residual coordination", laisse ces deux modules gelés et leur ajoute des corrections bornées via une porte d'action conditionnée au mouvement, qui répartit l'autorité de correction entre groupes d'articulations, et des portes de récompense liées à la géométrie de référence pendant l'entraînement. Le contrôleur corporel de référence est calibré sur la plateforme humanoïde Agile One par une calibration morphologique multi-pose, puis entraîné avec un tracker basé sur SONIC et un jeu de données de mouvement construit par étapes. En simulation, les erreurs de géométrie poignet-doigts baissent de 39,2 à 56,3% sur des mouvements bimanuels issus du jeu GRAB, tandis que le taux de succès du suivi corporel global sur AMASS passe de 89,03% à 89,29%. Le problème visé est concret pour les intégrateurs de téléopération humanoïde : la cohérence corps-mains conditionne la fiabilité des tâches bimanuelles comme la saisie ou le transfert d'objet entre les mains, un enjeu direct pour la collecte de démonstrations servant à entraîner des modèles vision-language-action et pour le contrôle téléopéré en environnement industriel. L'atout de la méthode tient à sa modularité : elle évite de réentraîner les politiques de suivi corporel ou de retargeting déjà déployées, ce qui limite le coût d'intégration pour des équipes disposant d'une pile de téléopération existante. Le gain de 39 à 56% sur la précision géométrique est net, mais l'amélioration du taux de succès global du suivi corporel reste marginale, et les résultats ne sont pour l'instant validés qu'en simulation, sans démonstration publiée sur robot physique. Ce travail s'inscrit dans la lignée des pipelines de téléopération combinant un tracker de mouvement corporel et un module de retargeting dextre séparé, architecture répandue dans le secteur mais dépourvue jusqu'ici de coordination explicite entre les deux flux de commandes. Les auteurs s'appuient sur les jeux de capture de mouvement AMASS et GRAB, références classiques pour évaluer respectivement le suivi corporel global et l'interaction main-objet. À la différence d'une approche end-to-end entraînée depuis zéro, cette méthode résiduelle vise la compatibilité avec des modules déjà en production, ce qui pourrait faciliter son adoption par des équipes ayant déjà investi dans une pile de téléopération. Les prochaines étapes attendues sont une validation sur robot réel et une extension à des tâches de manipulation plus variées que celles couvertes par GRAB et AMASS.

RecherchePaper

1 source