RecherchearXiv cs.RO 23 septembre 2026

Échantillonner, simuler, sélectionner : le pilotage par la physique pour le texte-vers-mouvement des humanoïdes sans entraînement

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente S³ (Sample-Simulate-Select), une méthode permettant à un humanoïde d'exécuter des commandes textuelles sans aucun entraînement supplémentaire, en plaçant directement le contrôleur de déploiement dans la boucle de génération. Pour chaque instruction, S³ tire N mouvements candidats d'un modèle text-to-motion figé, les retargete vers un robot Unitree G1 par cinématique inverse à correspondance de direction, les simule sous dynamique rigide complète avec la politique de suivi préentraînée SONIC, puis conserve le candidat le mieux exécuté. Sur 200 prompts stratifiés issus de HumanML3D, avec huit candidats par instruction, le taux d'exécution en position debout passe de 83,5% à 89,5%, et les passages du filtre matériel bondissent de 33 à 85 sur 200 ; sur l'intégralité du split de test (4184 prompts), le taux grimpe de 80,5% à 89,5%. Un vérificateur cinématique, prédisant les chutes avec une AUROC de 0,90, ne récupère qu'un quart de ce gain. Une comparaison avec un second retargeteur, GMR, révèle des échecs complémentaires qui portent le plafond combiné à 95%, et les 177 clips sélectionnés puis exécutés sur un G1 réel se terminent tous debout, avec une erreur de suivi proche de la simulation (r=0,94).

L'intérêt tient à ce que ces gains s'obtiennent sans réentraîner ni le générateur ni le contrôleur, alors que les systèmes récents reliant langage et humanoïdes comblent généralement cet écart par un entraînement dédié. Pour les équipes de recherche appliquée et les intégrateurs, cela suggère qu'un simple filtrage physique par simulation, réutilisant des briques déjà déployées, peut constituer une étape low-cost avant d'investir dans du réentraînement. Le travail tempère toutefois l'enthousiasme : le taux de passage du filtre matériel plafonne à 42,5%, et une classe entière de mouvements, ceux qui abaissent le bassin, échappe totalement à la sélection car aucun candidat généré ne l'exécute correctement.

La méthode s'appuie sur des générateurs text-to-motion entraînés sur HumanML3D et sur la politique de suivi corps-entier SONIC, ici testée sur un Unitree G1, et se positionne explicitement contre l'approche dominante d'un entraînement de bout en bout langage-vers-humanoïde. Il s'agit d'une contribution de recherche, validée à grande échelle en simulation mais sur un nombre restreint de séquences réelles et un seul robot, sans annonce de déploiement commercial ; les auteurs pointent eux-mêmes la limite à lever, les mouvements abaissant le centre de masse, qui exigeront probablement un générateur réentraîné sur des trajectoires robot plutôt qu'une sélection parmi des candidats humains retargetés.

Dans nos dossiers

Unitree

À lire aussi

1arXiv cs.RO

GRASP : échantillonnage guidé par le gradient pour le retargeting de mouvement physique riche en contacts

Des chercheurs proposent GRASP (Gradient Recovery from Archived Samples for Proposals), une méthode de retargeting physique qui transforme des démonstrations humaines en commandes robot reproduisant le mouvement de référence sous dynamique de contact. Le papier, publié sur arXiv (2611.05754, première version), étend le Sequential Monte Carlo tempéré. Le module GRASP-TO ajuste des modèles de coût quadratiques locaux sur les trajectoires déjà simulées et archivées, puis utilise leurs gradients pour guider l'étape de réjuvénation par MCMC. Une correction de Metropolis-Hastings préserve la distribution cible pour chaque noyau de proposition fixé. Aucun simulateur différentiable n'est requis. GRASP-MPC applique cet optimiseur par planification à horizon glissant, avec démarrage à chaud, pour traiter de longues démonstrations. Les auteurs annoncent 92,8 % de réussite sur 1352 démonstrations bimanuelles OakInk2 (environ 1255 réussies), avec un même objectif de suivi et sans récompense de contact propre à chaque tâche. Les références ainsi affinées améliorent le suivi par PPO en pen spinning et en interaction humanoïde-objet. Des essais sur matériel réel sont montrés en manipulation dextre et en mouvement corps entier de humanoïde. L'enjeu concerne la qualité des données d'entraînement. Un retargeting purement cinématique produit souvent des interpénétrations ou des contacts irréalisables, que les politiques apprises doivent ensuite compenser. Obtenir des références physiquement cohérentes avec un seul objectif générique, sur mains dextres comme sur humanoïdes, réduit l'ingénierie manuelle de récompenses. Fonctionner avec n'importe quel simulateur en boîte noire est un avantage pratique, car les gradients à travers les contacts sont notoirement instables. Les limites sont à garder en tête. Il s'agit d'un preprint non évalué par des pairs. Le résumé ne précise ni le critère de réussite, ni le coût de calcul par démonstration, ni le nombre ou la sélection des essais sur robot réel, qui semblent qualitatifs. Ce travail s'inscrit dans la lignée du contrôle prédictif par échantillonnage (MPPI, MuJoCo MPC), qui explore bien mais converge lentement, et des méthodes à simulateur différentiable, plus précises mais fragiles face aux contacts. GRASP cherche à combiner les deux. Le jeu de données OakInk2 et le suivi par PPO servent de bancs d'essai de plus en plus courants pour la manipulation dextre apprise depuis l'humain. Le résumé ne mentionne ni code publié ni calendrier. Les prochaines étapes à surveiller sont une éventuelle ouverture du code, des comparaisons directes avec les approches de retargeting basées sur l'apprentation par renforcement, et la reproduction des résultats sur d'autres mains et humanoïdes.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

GenTrack : alignement physique pour la génération de mouvement natif au robot et le suivi humanoïde en zéro-shot

Des chercheurs présentent GenTrack, un nouveau framework d'apprentissage conjoint pour générer et suivre des mouvements sur robots humanoïdes, détaillé dans un article publié le 1er août 2026 sur arXiv (2608.01410v1). Le système a été testé sur le robot Unitree G1, avec deux architectures de suivi de mouvement, ProtoMotions et SONIC. L'évaluation couvre trois jeux de données en zero-shot : les benchmarks publics AMASS et LAFAN, ainsi qu'un ensemble privé de 1 024 paires prompt-mouvement collectées hors distribution, censé refléter des conditions réelles variées. Le principe central de GenTrack consiste à faire alterner deux étapes en ligne : un alignement du générateur de mouvements ancré dans l'exécution réelle et calculé de façon relative par groupe, puis un entraînement du tracker sur les nouvelles références ainsi produites, le tout stabilisé par des mécanismes d'ancrage et de rejeu pour limiter la dérive du modèle. L'enjeu technique visé est connu des équipes qui travaillent sur le contrôle des humanoïdes : les générateurs de mouvement texte-vers-mouvement, entraînés sur des données de capture humaine ou retargetées, produisent des trajectoires plausibles cinématiquement mais souvent inexécutables physiquement par un robot réel. Les approches existantes traitent ce problème dans un seul sens, en figeant soit le corpus généré, soit le tracker récompensé. GenTrack propose une boucle fermée entre les deux composants. Selon les auteurs, cette co-évolution en ligne améliore à la fois l'exécutabilité robotique des mouvements générés et la couverture zero-shot du tracker, avec un gain particulièrement marqué sur les références hors distribution, c'est-à-dire les cas les plus proches d'un usage industriel réel plutôt que d'un benchmark contrôlé. Le travail s'inscrit dans la lignée des recherches sur les modèles de suivi de mouvement génériques pour humanoïdes, où l'extension de la couverture zero-shot dépendait jusqu'ici de corpus embarqués coûteux à agrandir. GenTrack propose une alternative sans collecte de données supplémentaire, en exploitant plutôt un post-entraînement conjoint génération-suivi. L'article ne mentionne pas de déploiement industriel ni de partenaire matériel au-delà du G1 de Unitree utilisé comme plateforme d'évaluation ; il s'agit à ce stade d'une contribution méthodologique plutôt que d'un produit commercialisé.

RecherchePaper

1 source

3arXiv cs.RO

Pilotage du mouvement au moment du test pour la récupération perceptive de chute des robots humanoïdes

Des chercheurs présentent RISE, une méthode de récupération après chute pour humanoïdes qui permet d'orienter, au moment de l'inférence, la façon dont le robot se relève. L'idée de départ est qu'une même posture au sol admet plusieurs façons de se redresser, qui diffèrent par la trajectoire, les transitions d'appui et le cap final. Une récupération fiable ne dit pas laquelle de ces options le robot exécute. RISE apprend d'abord un « vocabulaire de récupération », c'est-à-dire un ensemble de mouvements partagés reliant l'intention de mouvement aux actions moteurs via le retour sensoriel. Un planificateur visuel à diffusion s'entraîne ensuite sur des exécutions de ce vocabulaire. Il prédit l'intention de mouvement sous forme d'états futurs du corps, puis génère des latents de mouvement conditionnés par cette intention. Les résultats sont des simulations de récupérations variées et d'adaptation au terrain, complétées par des démonstrations réelles sur un Unitree G1. L'article, déposé sur arXiv (2610.30061), ne chiffre pas dans son résumé les taux de réussite ni les temps de relevé. L'intérêt tient à la distinction entre récupérer et choisir comment récupérer. Dans un entrepôt, un atelier encombré ou près d'un équipement, se relever n'importe comment peut bloquer un passage, heurter un obstacle ou laisser le robot orienté dans la mauvaise direction. Ici, des coûts de tâche (cap voulu, vitesse de relevé, chemin) guident la prédiction sans réentraînement, ce qui limite le coût d'adaptation pour un intégrateur qui voudrait ajuster le comportement à un site. Il faut toutefois rester prudent. Il s'agit d'un préprint, la validation quantitative la plus large est faite en simulation, et la partie réelle se limite à des démonstrations sur un seul robot, sans indication de robustesse sur des chutes variées, des sols dégradés ou des cycles répétés. Le fossé entre simulation et réel, et entre démonstration et déploiement, reste donc ouvert. Ce travail s'inscrit dans la montée des politiques de récupération apprises pour humanoïdes, qui ont d'abord visé la fiabilité du relevé depuis des postures arbitraires, souvent en aveugle ou avec des primitives fixes. RISE ajoute la perception visuelle et un contrôle explicite de l'intention, en s'appuyant sur les modèles de diffusion déjà répandus en planification robotique. Le Unitree G1 est devenu une plateforme de recherche courante grâce à son coût relativement bas, ce qui facilite la comparaison avec d'autres travaux. Les prochaines étapes naturelles seraient des évaluations chiffrées face aux méthodes existantes, des essais sur d'autres morphologies et une intégration avec des politiques de manipulation ou de navigation de plus haut niveau. Aucun calendrier de pilote ou de commercialisation n'est annoncé.

RecherchePaper

1 source

4arXiv cs.RO

PartiGen : des représentations par parties pour générer des mouvements d'humanoïde à partir de texte

PartiGen, un cadre de génération de mouvement humanoïde conditionné par le langage, a été présenté sur arXiv (2610.13373) par une équipe de recherche qui s'attaque à trois difficultés à la fois : coordonner les parties du corps, déterminer la durée d'un mouvement et produire des références exploitables par un robot. Le modèle est une diffusion latente « part-aware » : des couches d'attention propres à chaque segment anatomique traitent des caractéristiques de trames masquées anatomiquement, puis leurs sorties sont fusionnées avec le contexte du corps entier. Conditionné par un texte et l'historique du mouvement, il génère des primitives de mouvement de façon autorégressive, avec une supervision par cinématique directe pour la cohérence des poses et un prédicteur de fin de séquence appris. Sur HumanML3D retargeté vers le Unitree G1, il atteint un FID par segment de 3,165, soit 16,8 % de moins que TextOp, et gagne 1,4 point de R@1. Avec des primitives de 16 trames, la prédiction de fin ramène l'erreur absolue moyenne de durée de 12,471 à 3,080 trames par rapport à une coupe à longueur fixe. Le volet le plus parlant pour les intégrateurs est l'exécution. Les références générées sont suivies par un contrôleur GRIT préentraîné et gelé : 409 des 500 mouvements (81,8 %) passent le filtre de stabilité posturale sous MuJoCo, puis 26 des 27 mouvements tentés sont jugés réussis sur un vrai G1. Ces chiffres demandent de la prudence : le filtre de stabilité repose sur la posture, non sur une tâche accomplie, et les 27 essais réels viennent d'une sélection manuelle après tri en simulation, pas d'un échantillon aléatoire. Le taux de 96 % décrit donc surtout la qualité des mouvements retenus, pas la fiabilité d'un pipeline texte vers robot en usage libre. Il reste que près de 18 % des sorties échouent déjà au crible simulé, ce qui rappelle que l'écart entre un mouvement plausible visuellement et un mouvement physiquement exécutable n'est pas résolu. Le travail s'inscrit dans la lignée des modèles texte vers mouvement entraînés sur des données humaines (HumanML3D) puis retargetés, dont TextOp est ici la référence directe. Sa contribution est structurelle, avec la décomposition par membres et surtout la gestion de la durée, souvent négligée quand les longueurs sont fixées à l'avance. Le choix de s'appuyer sur un tracker gelé plutôt que de réentraîner la politique de bas niveau est pertinent : il isole la qualité de la génération et rend la méthode compatible avec des contrôleurs existants. Les limites sont connues : une seule plateforme (G1), pas de manipulation ni d'interaction avec l'environnement, et des évaluations en simulation et sur peu d'essais réels. Les prochaines étapes naturelles seraient un test sur d'autres morphologies humanoïdes, une évaluation sans sélection manuelle et l'intégration avec des modèles vision-langage-action pour passer du mouvement expressif à la tâche utile.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source