RecherchearXiv cs.RO 12 octobre 2026

PartiGen : des représentations par parties pour générer des mouvements d'humanoïde à partir de texte

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

PartiGen, un cadre de génération de mouvement humanoïde conditionné par le langage, a été présenté sur arXiv (2610.13373) par une équipe de recherche qui s'attaque à trois difficultés à la fois : coordonner les parties du corps, déterminer la durée d'un mouvement et produire des références exploitables par un robot. Le modèle est une diffusion latente « part-aware » : des couches d'attention propres à chaque segment anatomique traitent des caractéristiques de trames masquées anatomiquement, puis leurs sorties sont fusionnées avec le contexte du corps entier. Conditionné par un texte et l'historique du mouvement, il génère des primitives de mouvement de façon autorégressive, avec une supervision par cinématique directe pour la cohérence des poses et un prédicteur de fin de séquence appris. Sur HumanML3D retargeté vers le Unitree G1, il atteint un FID par segment de 3,165, soit 16,8 % de moins que TextOp, et gagne 1,4 point de R@1. Avec des primitives de 16 trames, la prédiction de fin ramène l'erreur absolue moyenne de durée de 12,471 à 3,080 trames par rapport à une coupe à longueur fixe.

Le volet le plus parlant pour les intégrateurs est l'exécution. Les références générées sont suivies par un contrôleur GRIT préentraîné et gelé : 409 des 500 mouvements (81,8 %) passent le filtre de stabilité posturale sous MuJoCo, puis 26 des 27 mouvements tentés sont jugés réussis sur un vrai G1. Ces chiffres demandent de la prudence : le filtre de stabilité repose sur la posture, non sur une tâche accomplie, et les 27 essais réels viennent d'une sélection manuelle après tri en simulation, pas d'un échantillon aléatoire. Le taux de 96 % décrit donc surtout la qualité des mouvements retenus, pas la fiabilité d'un pipeline texte vers robot en usage libre. Il reste que près de 18 % des sorties échouent déjà au crible simulé, ce qui rappelle que l'écart entre un mouvement plausible visuellement et un mouvement physiquement exécutable n'est pas résolu.

Le travail s'inscrit dans la lignée des modèles texte vers mouvement entraînés sur des données humaines (HumanML3D) puis retargetés, dont TextOp est ici la référence directe. Sa contribution est structurelle, avec la décomposition par membres et surtout la gestion de la durée, souvent négligée quand les longueurs sont fixées à l'avance. Le choix de s'appuyer sur un tracker gelé plutôt que de réentraîner la politique de bas niveau est pertinent : il isole la qualité de la génération et rend la méthode compatible avec des contrôleurs existants. Les limites sont connues : une seule plateforme (G1), pas de manipulation ni d'interaction avec l'environnement, et des évaluations en simulation et sur peu d'essais réels. Les prochaines étapes naturelles seraient un test sur d'autres morphologies humanoïdes, une évaluation sans sélection manuelle et l'intégration avec des modèles vision-langage-action pour passer du mouvement expressif à la tâche utile.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Unitree IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

PAMoR : génération en temps réel de mouvements affectifs paramétrés pour robots humanoïdes

Des chercheurs ont publié le 28 août 2026 sur arXiv (2608.28213) un système baptisé PAMoR, qui génère des mouvements de robot humanoïde porteurs d'une émotion mesurable, plutôt qu'imitée depuis une vidéo de référence ou un simple mot-clé comme le font les systèmes existants pour avatars virtuels. Le système calcule en forme fermée une coordonnée de valence-arousal directement depuis la cinématique du robot, à partir de l'expansion posturale et de l'énergie du mouvement, sans aucune annotation humaine. Un modèle d'action et deux modèles affectifs, entraînés dans un espace latent partagé, se combinent à chaque étape de débruitage: le premier fixe la tâche exécutée, les seconds en modulent la tonalité émotionnelle. Le mouvement corps entier tourne en temps réel, en boucle autorégressive, sur un Unitree G1 à 29 degrés de liberté, action et émotion restant modifiables à la volée. Lors d'une étude perceptuelle, des évaluateurs humains ont identifié l'émotion commandée dans 38% des essais, contre 44% pour des mouvements joués par des acteurs humains. Le secteur humanoïde communique surtout sur la manipulation et la locomotion; l'expressivité émotionnelle des robots reste le plus souvent démontrée par des vidéos sélectionnées plutôt que mesurée par un protocole contrôlé. PAMoR propose un paramètre affectif quantifiable et éditable en temps réel, exploitable dans une boucle de contrôle, ce qui intéresse les intégrateurs travaillant sur l'accueil, l'assistance ou l'interaction sociale, sans dégrader la fidélité texte-mouvement des modèles d'action pure. Le score de reconnaissance de 38%, inférieur au niveau humain mais validé par une comparaison perceptuelle explicite plutôt que par une démo triée, fournit une mesure rare et vérifiable de l'expressivité d'un humanoïde, un exercice auquel peu d'annonces du secteur se prêtent. La génération de mouvement expressif existait déjà pour les avatars virtuels, où le style émotionnel provient d'un clip de référence ou d'un mot d'émotion, deux entrées jugées non quantifiables par les auteurs de PAMoR. Le travail transpose cette approche à la robotique physique via le Unitree G1, plateforme de recherche largement utilisée en académie: il s'agit d'une démonstration reproductible et non d'un produit commercial, issue d'une publication arXiv non encore évaluée par les pairs. Elle se distingue des efforts commerciaux centrés sur la manipulation et la locomotion, à l'image des modèles vision-langage-action Pi-0 ou GR00T N2, en ciblant spécifiquement l'affect social du mouvement. Aucun calendrier de transfert vers une plateforme commerciale ni partenariat industriel n'est mentionné à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

Générer des mains robotiques à partir de démonstrations humaines

Des chercheurs ont publié un framework de co-conception de mains robotiques guidé par les données (arXiv:2506.20549, juin 2025). Le problème visé est le co-design corps/contrôleur: optimiser simultanément la morphologie d'un effecteur et son contrôleur crée un espace combinatoire difficilement tractable. La solution exploite plus de 4 millions de frames de mouvements de bouts de doigts humains issus de manipulations quotidiennes pour optimiser des mains à structure arborescente, en utilisant une politique de contrôle minimale commune à la phase de recherche et à la phase opérationnelle: le suivi de position des fingertips par cinématique inverse (IK). Deux catégories de designs ont été produites: une main à 6 degrés de liberté (DoF) à usage général, et des mains spécialisées à 3 DoF équipées de joints "mimic" à quadrilatère articulé (four-bar spatial). Un acteur entraîné par apprentissage par renforcement (RL) accélère la recherche morphologique, réduisant le temps de calcul de plusieurs heures à quelques minutes; les structures finales sont fabriquées en impression 3D print-in-place, en une seule pièce articulée sans assemblage. En expériences réelles, la main 6-DoF dépasse des mains robotiques commerciales non identifiées sur la précision de suivi télé-opéré, tandis que les mains 3-DoF reproduisent des trajectoires structurées avec une complexité mécanique réduite. L'apport principal est la résolution d'un verrou de fond en co-design: en imposant la même politique IK simple pendant l'optimisation et après fabrication, les auteurs découplent la recherche morphologique de l'apprentissage d'un contrôleur complexe, rendant l'exploration de l'espace de design tractable à grande échelle. Ce résultat soutient une hypothèse émergente: des données massives de mouvement humain non conçues pour la robotique peuvent informer l'optimisation de l'embodiment physique d'un robot, et pas seulement son contrôleur. La comparaison avec des mains commerciales reste difficile à évaluer, le preprint ne précisant ni les références comparées ni les conditions d'évaluation; prudence sur ce point en l'absence de benchmark standardisé. Ce travail prolonge une tendance croissante qui vise à utiliser des données humaines non seulement pour entraîner des politiques robotiques (VLA, imitation learning), mais pour co-générer le hardware lui-même. Les approches concurrentes en evolutionary robotics et en simulation différentiable existent depuis des années mais restent coûteuses en calcul ou peu généralisables; l'originalité de cette contribution réside dans la décorrélation design/contrôle et dans l'usage du RL comme heuristique de recherche morphologique efficace. À ce stade, il s'agit d'un preprint non encore peer-reviewed, sans déploiement industriel ni partenaire commercial annoncé; les suites naturelles seraient une validation sur un spectre plus large de tâches de manipulation et une comparaison rigoureuse avec des benchmarks établis. Aucun acteur européen n'est impliqué dans ces travaux.

RecherchePaper

1 source

3arXiv cs.RO

PGMT : suivi de mouvement général perceptif pour robots humanoïdes

Un article arXiv mis à jour (2609.08511v2) présente PGMT, Perceptive General Motion Tracking, une méthode qui permet à un robot humanoïde d'adapter ses mouvements au terrain plutôt que de suivre une trajectoire de référence pensée pour un sol plat. Le système apprend d'abord un socle générique de suivi de mouvement et de récupération, puis ajoute une perception du sol via des aperçus de terrain conditionnés par le mouvement en cours, complétés par un relâchement du suivi qui autorise des écarts de trajectoire sans perdre l'intention du geste. Testé en zero-shot sur un robot Unitree G1, sans réentraînement spécifique, PGMT assure une locomotion stable sur des obstacles réels atteignant 37 cm de hauteur, tout en gérant dans une seule politique téléopération, suivi de mouvements dynamiques et récupération après chute. L'enjeu dépasse la prouesse technique : la plupart des démonstrations de motion tracking humanoïde reposent sur un sol plat et prévisible, un terrain "agnostique" qui devient physiquement infaisable dès que le sol se complique, marches, gravats ou dénivelés. En montrant qu'une politique unique gère locomotion adaptative, mouvements complexes et récupération de chute sans contrôleurs séparés par terrain, PGMT s'attaque à l'écart entre démonstrations scénarisées et usage réel, un point sensible pour les intégrateurs visant un déploiement en entrepôt, en usine ou sur chantier. Obtenu par apprentissage par renforcement plutôt que par un modèle vision-langage-action massif, ce résultat rappelle que plusieurs voies techniques coexistent encore pour franchir l'écart simulation-réel. PGMT prolonge des travaux de suivi de mouvement humanoïde qui supposaient jusqu'ici un sol plat pour transférer capture de mouvement, vidéos ou téléopération vers un robot physique. Le choix du Unitree G1, plateforme très utilisée en recherche académique pour son coût maîtrisé, situe ces travaux dans un cadre scientifique plutôt que commercial : c'est une démonstration de laboratoire, sans pilote industriel ni calendrier de déploiement annoncé. Les auteurs présentent PGMT comme une politique unifiée généralisable au-delà du sol plat, documentée sur une page de projet dédiée, ouvrant la voie à une intégration future dans des piles de contrôle humanoïdes plus larges.

RecherchePaper

1 source

4arXiv cs.RO

ECHO-G : génération de mouvements de robot humanoïde incarné synchronisés à la parole

Des chercheurs publient sur arXiv ECHO-G, un cadre de génération de mouvements corporels complets synchronisés à la parole pour robots humanoïdes. Le système repose sur un Speech-Grounded Diffusion Transformer (SGDiT), conditionné à la fois par l'audio de la parole et par des transcriptions horodatées. Il associe des caractéristiques acoustiques alignées image par image à un contexte linguistique au niveau du token, en préservant leurs granularités distinctes. L'entraînement utilise le rectified flow matching, et le modèle apprend les relations un-à-plusieurs entre un énoncé et les mouvements possibles, directement dans l'espace du robot (articulations du humanoïde) plutôt que dans celui du corps humain. Les auteurs introduisent aussi un jeu de données audio-texte-robot dérivé de BEAT2, ainsi qu'un benchmark couvrant trois axes : les caractéristiques de la gestuelle co-verbale, la qualité du mouvement robotique et l'efficacité à l'exécution. Une démonstration sur un humanoïde physique est présentée. Le code d'entraînement, d'inférence et d'évaluation, ainsi que les données, sont publiés via la page du projet. L'article ne précise ni le robot utilisé, ni le nombre de degrés de liberté, ni les temps d'inférence chiffrés dans son résumé. L'intérêt tient à la méthode. Jusqu'ici, la gestuelle des robots parlants passe souvent par un pipeline en deux temps : un modèle génère un mouvement humain (squelette ou corps paramétrique SMPL), puis un retargeting l'adapte à la cinématique du robot. Cette étape introduit des pertes : limites articulaires, contraintes d'équilibre, différences de proportions. Selon les auteurs, la génération directe en espace robot l'emporte sur les pipelines de génération humaine plus retargeting évalués. Ce résultat vaut pour les baselines testées, pas pour l'ensemble de l'état de l'art. L'ablation montre aussi que combiner audio (prosodie, rythme) et texte (contenu sémantique) améliore les résultats par rapport à chaque modalité seule, ce qui plaide pour des gestes à la fois bien rythmés et pertinents. Pour les intégrateurs de robots d'accueil, de service ou de démonstration, cela ouvre la voie à une expressivité moins scriptée. Les limites sont claires : la validation matérielle semble se limiter à une démonstration, l'évaluation subjective repose sur une étude de notation vidéo, et aucune donnée de déploiement réel n'est fournie. ECHO-G s'inscrit dans la lignée des travaux de génération de gestes co-verbaux sur le jeu de données BEAT et sa version BEAT2, conçus pour des avatars humains et non pour des robots. Le passage à l'espace robot rejoint une tendance plus large, celle des modèles génératifs entraînés directement sur l'embodiment cible, déjà visible dans les politiques VLA et les approches par flow matching. Le jeu de données dérivé et le benchmark pourraient servir de référence commune, à condition que d'autres équipes les adoptent et les testent sur des morphologies différentes. Les prochaines étapes à surveiller sont la généralisation à d'autres humanoïdes, la mesure de la latence en conditions réelles et l'intégration avec des systèmes de dialogue en temps réel.

RecherchePaper

1 source