RecherchearXiv cs.RO 27 octobre 2026

MimicAll : conditionnement structuré par l'embodiment pour le suivi de mouvements corps entier sur plusieurs humanoïdes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

MimicAll, un framework d'apprentissage par renforcement publié sur arXiv (2610.33508), vise à faire suivre des mouvements de corps entier par une seule politique partagée entre des humanoïdes très différents. Un descripteur structuré de la morphologie est encodé en conditions globales et alignées sur les articulations. Elles sont combinées à l'historique d'observations et à des références de mouvement adaptées au corps pour prédire des décalages de cibles articulaires. L'entraînement, en simulation, couvre 4 096 variantes issues de 16 familles d'humanoïdes. Il repose sur une randomisation physiquement cohérente des corps, un retargeting calibré par corps et une simulation hétérogène. Les auteurs proposent aussi un benchmark de 464 corps répartis en cinq strates, qui mesure la généralisation aux mouvements, aux variations au sein d'une famille et le transfert vers des familles jamais vues. Sur des corps G1 randomisés dans 100STYLE, l'entraînement partagé atteint 99,4 % de succès sur 30 secondes, contre 42,9 % pour un spécialiste mono-corps, à nombre de transitions égal. Avec un encodage Flat-MLP et une simple concaténation, l'entraînement poursuivi sur un sous-ensemble de mouvements sans obstacles atteint 98,3 % sur les corps d'entraînement échantillonnés et 93,5 % sur les variantes hors distribution de familles connues.

Le résultat touche un point de friction majeur du secteur : chaque nouvel humanoïde exige aujourd'hui sa propre politique de contrôle, donc son propre cycle de collecte, d'entraînement et de réglage. Une politique unique, conditionnée par la morphologie, réduirait ce coût pour les constructeurs comme pour les intégrateurs qui exploitent des flottes mixtes. Les ablations apportent des enseignements concrets. L'information d'embodiment améliore déjà le taux de complétion avec une simple concaténation, tandis que l'auto-attention donne les plus faibles erreurs de position globale. Sur huit mouvements LAFAN1 (sans séquences au sol ni relevés) et 464 corps, fournir une condition de corps erronée fait chuter le succès de l'auto-attention de 61,7 % à 47,0 %. Ce test montre que le modèle exploite réellement l'information de corps en boucle fermée. Les limites sont nettes : tout est évalué en simulation, sans transfert sim-to-real sur matériel annoncé. Les 61,7 % sur LAFAN1 laissent en outre une marge importante, et la comparaison avec un spécialiste dépend de la définition de « transitions égales ».

Ces travaux s'inscrivent dans la lignée des trackers de mouvement humanoïdes, qui reproduisent des comportements variés mais restent le plus souvent liés à un seul robot. Ils prolongent aussi les recherches sur les politiques cross-embodiment, déjà bien établies pour les bras et les quadrupèdes et plus rares pour les humanoïdes bipèdes. Le papier ne mentionne ni partenaire industriel ni calendrier de déploiement. Les prochaines étapes logiques sont la validation sur robots réels, l'extension aux mouvements avec obstacles, au sol et aux relevés, ainsi que la confrontation au benchmark de 464 corps par d'autres équipes, qui dira si cette approche s'impose.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

SP-HLM : génération de mouvements pilotée par poses éparses et contrôle du corps entier pour la loco-manipulation humanoïde

Des chercheurs proposent SP-HLM, un cadre logiciel pour la loco-manipulation humanoïde (marcher et manipuler des objets simultanément), publié sur arXiv en octobre 2026. L'idée centrale est une interface « à poses éparses » entre la politique de haut niveau et le contrôle du corps entier. Cinq poses corporelles critiques pour la tâche expriment l'intention spatiale, et un a priori de mouvement latent appris porte la coordination du corps entier. Quatre modules s'enchaînent. SP-VLA, un modèle vision-langage-action, prédit les poses éparses et les positions des articulations des doigts à partir d'observations multimodales et d'instructions en langage naturel, avec une inférence asynchrone par blocs d'actions (action chunks). SP-MGM, un modèle de génération de mouvement entraîné par distillation en deux étapes, reconstruit en temps réel un mouvement complet et cohérent à partir de ces cibles. Un encodeur de mouvement pré-entraîné compresse ce mouvement en représentation latente. SP-GMT, un tracker de mouvement généraliste, fusionne enfin les cibles explicites et cet a priori implicite pour piloter le corps entier. Les essais portent sur des simulations et sur un humanoïde réel, avec de meilleurs résultats annoncés en suivi de mouvement, en coordination et en taux de réussite. L'extrait disponible ne donne ni chiffres, ni nom de robot, ni liste des méthodes de comparaison. L'intérêt tient à un point de friction connu des architectures VLA pour humanoïdes. Soit la politique de haut niveau sort des actions articulaires de bas niveau, ce qui la surcharge, soit elle sort des cibles trop pauvres (par exemple la seule position des mains), ce qui laisse le corps sous-spécifié et produit des postures peu naturelles ou instables. Séparer l'intention, portée par les poses explicites, de la coordination, portée par l'a priori latent, est une réponse d'architecture plausible. Si les gains se confirment, un VLA pourrait rester léger tout en pilotant un contrôleur whole-body robuste, ce qui faciliterait l'intégration de ces briques chez les intégrateurs. Il faut rester prudent. Il s'agit d'un préprint non évalué par des pairs. Les résultats sur « un » robot réel ne disent rien de la robustesse sur des cycles longs, en environnement non contrôlé, ni de la comparaison à budget de calcul équivalent. Rien n'est annoncé sur la disponibilité du code ou des modèles, au-delà d'une page projet avec des vidéos, dont la sélection reste à nuancer. Ce travail s'inscrit dans la course à une pile « VLA plus contrôleur corps entier » pour humanoïdes. Des approches comme Helix de Figure, GR00T de NVIDIA ou les modèles Pi de Physical Intelligence partagent la même logique de hiérarchie entre planification et contrôle, avec des interfaces différentes. Le suivi de mouvement généraliste, popularisé par les travaux sur la rétro-cinématique apprise et les politiques entraînées en simulation puis transférées au réel (sim-to-real), sert ici de socle. SP-HLM est un résultat de recherche académique, sans calendrier de déploiement ni partenaire industriel annoncé. La suite probable est une validation sur davantage de tâches et de plateformes, puis une éventuelle ouverture du code, qui permettra à la communauté de vérifier la reproductibilité.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

PLAT : suivi épars de mouvements-clés pour le contrôle humanoïde par apprentissage de transition latente privilégiée

Un cadre nomme PLAT, pour Privileged LAtent Transition learning, a été publie sur arXiv sous la référence 2609.25754v1. Il s'attaque au contrôle de robots humanoïdes par "keyframes temporisées éparses" : le robot ne reçoit que quelques poses-clés futures et leurs instants d'arrivée souhaites, plutôt qu'une référence dense image par image comme le font les politiques de motion tracking classiques. L'entrainement se déroule en trois étapes : un expert de suivi de mouvement dense preentraine fournit d'abord un prior de mouvement robuste, un prior latent privilégié est ensuite appris par imitation de type DAgger a partir de séquences d'objectifs denses servant de supervision privilégiée, puis un apprentissage par renforcement affine les transitions dans l'espace latent plutôt que les actions elles-mêmes. Les auteurs rapportent un suivi stable et précis en simulation sur des horizons de planification variables, avec un avantage marque a long horizon, et un déploiement réussi sur un robot humanoïde Unitree G1. Le problème vise est concret pour les équipes de recherche et les intégrateurs en robotique humanoïde : les politiques de suivi dense, précises mais rigides, s'exploitent mal comme contrôleurs de haut niveau pour la planification de taches ou la génération interactive de mouvement, car elles exigent une référence complète a chaque instant. En rendant le contrôle pilotable par de simples poses-clés espacées dans le temps, PLAT propose une interface plus légère entre un module de décision, planificateur ou générateur de mouvement, et l'exécution bas niveau, une séparation qui rejoint la logique d'architectures décision/exécution comme GR00T N2 ou Helix. Le transfert réussi vers un robot physique va dans le sens d'un rapprochement simulation-déploiement, même si les résultats quantitatifs reposent surtout sur la simulation, avec un seul modèle de robot teste et aucun taux de réussite en conditions réelles communique dans le résume. Ce travail s'inscrit dans la lignée des politiques de suivi de mouvement entraînées en simulation puis transférées sur robot réel, méthode courante pour les humanoïdes Unitree et dans la recherche en contrôle appris. Il se distingue des modèles généralistes de type VLA, tels Pi-0 ou GR00T N2, en ciblant la couche de contrôle moteur bas niveau plutôt que la perception ou la planification, une brique complémentaire plutôt que rivale. Publie sous la catégorie "new" d'arXiv, sans partenariat industriel ni calendrier de déploiement annonces, PLAT demeure a ce stade une contribution de recherche dont la robustesse hors simulation et sur d'autres plateformes reste a démontrer.

RecherchePaper

1 source

3arXiv cs.RO

MimicX : affinage de la supervision avec politique dans la boucle pour le suivi de mouvements humanoïdes à partir de vidéos

MimicX, un framework décrit dans un preprint arXiv (2610.09055v1), propose d'utiliser les échecs d'exécution d'une politique de contrôle comme signal pour corriger la supervision d'un humanoïde qui apprend à imiter des vidéos humaines. Le système part d'un mouvement reconstruit à partir d'une vidéo puis retargeté sur le robot. Il localise ensuite les transitions difficiles et les parties du corps concernées. Il ajuste conjointement les objectifs de suivi (tracking) et le curriculum de réinitialisation, c'est-à-dire les états de départ proposés à la politique lors de la reprise de l'entraînement. Des rollouts répétés servent à vérifier chaque modification, et seules les améliorations qui privilégient l'exécution sans dégrader des garde-fous de suivi sont conservées. Sur quatre tâches vidéo de référence, la méthode réduit en moyenne l'erreur de suivi du corps de 25,7 % et augmente de 255,6 % le Robust Execution Horizon, la durée pendant laquelle le robot exécute le mouvement sans échec, par rapport à la base de comparaison « Fixed Reference », qui conserve la référence initiale inchangée. Des études complémentaires portent sur d'autres vidéos, d'autres références de mouvement et des scènes avec collisions. Une variante, MimicX-HLoop, accélère la boucle de rétroaction grâce à une exécution hétérogène. L'intérêt tient à un constat que connaissent les équipes qui travaillent sur le suivi de mouvement : une référence visuellement plausible n'est pas forcément exécutable sous contraintes physiques. Les pipelines vidéo vers humanoïde traitent souvent la référence comme une vérité fixe et laissent la politique s'en accommoder, ce qui produit des échecs persistants sur certains passages. MimicX inverse la logique en considérant la référence et la supervision comme des variables à corriger. Pour un intégrateur ou un laboratoire, cela réduit le travail manuel de nettoyage des données de mouvement, souvent le goulot d'étranglement du transfert depuis la vidéo. Il faut toutefois relativiser. Le gain de 255,6 % porte sur une métrique d'horizon définie par les auteurs, mesurée sur seulement quatre tâches, face à une seule base de comparaison explicitement faible. Les résultats semblent obtenus en simulation, rien n'indique de validation sur robot réel, et les éléments fournis ne précisent ni la plateforme, ni les temps de calcul de la boucle. Ce travail s'inscrit dans la lignée des méthodes d'imitation de mouvement humain pour humanoïdes, qui reposent sur la reconstruction de pose à partir de vidéos, le retargeting cinématique, puis l'apprentissage par renforcement en simulation. Les approches existantes se concentrent surtout sur la robustesse de la politique ou sur la qualité de la reconstruction, plus rarement sur la correction de la supervision elle-même à partir des échecs. Il s'agit d'un preprint, sans revue par les pairs, ni code ni déploiement annoncés dans le résumé. La suite logique serait une validation sur matériel et une comparaison avec des méthodes de nettoyage ou de filtrage de référence plus solides que la base fixe.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Structured-Diffuser : diffusion à priors structurés conditionnés par la tâche pour la planification de mouvement

Une équipe de recherche présente Structured-Diffuser, un planificateur de mouvement par diffusion décrit dans la troisième version d'un article déposé sur arXiv (2509.25685v3). Au lieu du bruit gaussien isotrope classique utilisé par les planificateurs de diffusion standards, la méthode dérive la moyenne et la covariance de la corruption d'un modèle de planification par processus gaussien (GPMP), encodant ainsi directement la fluidité de la trajectoire et la sémantique de la tâche dans le bruit lui-même. Une architecture à deux niveaux extrait d'abord des états clés épars et leur timing pour instancier cet a priori gaussien structuré, puis débruite la trajectoire complète en s'appuyant sur ces états comme observations bruitées. Sur trois tâches de planification de mouvement testées, les auteurs rapportent une meilleure réussite des tâches, un entraînement plus rapide et, selon les cas, des gains en efficacité des données et en fluidité de trajectoire, avec en complément une démonstration sur un humanoïde physique G1. Pour les équipes de recherche en robotique, ce travail confirme une tendance à vouloir réduire la dépendance des planificateurs de diffusion à de gros volumes de données d'entraînement, un frein connu pour les modèles vision-langage-action comme Pi-0 ou GR00T N2. Les études d'ablation des auteurs indiquent qu'un bruit explicitement structuré apporte un bénéfice distinct du simple conditionnement neuronal du réseau de débruitage, ce qui nuance l'idée qu'un réseau bien conditionné suffirait à compenser un bruit générique. Le test sur un G1 réel reste toutefois une démonstration de recherche et non un déploiement produit, dans un domaine où l'écart entre performance en simulation et robustesse en conditions réelles demeure la principale zone d'incertitude. La méthode s'inscrit dans la lignée des planificateurs de diffusion appliqués à la robotique, en les hybridant avec l'optimisation classique de trajectoire par processus gaussien de type GPMP. Elle se positionne comme une alternative de bas niveau, centrée sur la génération de trajectoires physiquement cohérentes, face aux architectures vision-langage-action de bout en bout comme Pi-0, GR00T N2 ou Helix, qui apprennent directement des politiques à partir d'entrées visuelles et langagières. Aucun acteur français ou européen n'apparaît dans cette publication, qui reste à ce stade un travail de recherche publié sur arXiv, sans annonce de produit, de partenariat industriel ni de calendrier de déploiement commercial.

RecherchePaper

1 source