RecherchearXiv cs.RO 7 octobre 2026

iGPC : priors de mouvement génératifs pour l'interaction humanoïde sensible aux objets

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent iGPC, un cadre qui étend le Generative Pretrained Controller (GPC), un contrôleur humanoïde préentraîné sur de larges corpus de mouvements humains, à l'interaction corps entier avec des objets. Le travail, publié sur arXiv (2610.08120v1), procède en deux étapes. D'abord, GPC est adapté en « experts d'interaction » conditionnés par des indices d'affordance de la scène et par des informations d'état privilégiées (accessibles en simulation, mais pas sur un robot réel). Ces experts conservent le prior de mouvement humain tout en apprenant des comportements de contact propres à chaque tâche : atteindre un objet, s'agripper à un support de l'environnement pour se stabiliser, pousser un objet mobile. Ensuite, un « étudiant » piloté par la perception reprend la politique GPC préentraînée et distille les compétences des experts à partir des seules observations de capteurs embarqués. Deux objectifs d'entraînement complémentaires comblent l'écart entre observations privilégiées et signaux sensoriels. Les auteurs annoncent des résultats concluants sur plusieurs tâches corps entier. Le résumé ne donne ni plateforme matérielle, ni taux de réussite, ni nombre de degrés de liberté, ni validation chiffrée en conditions réelles.

L'enjeu est le passage du mouvement naturel à l'interaction physique guidée par la perception, point de blocage récurrent pour les humanoïdes. Les priors issus de données humaines donnent des mouvements fluides et variés, mais ils sont rarement exploités pour des contacts riches avec l'environnement, où la perception bruitée et l'absence d'information privilégiée fragilisent les politiques. Si les résultats tiennent, ils plaident pour un modèle de fond de mouvement réutilisable, adapté ensuite à des tâches de manipulation et de stabilisation, plutôt qu'une politique entraînée de zéro pour chaque scénario. Pour un intégrateur, la capacité à s'appuyer sur un support ou à pousser une charge sans cartographie parfaite de la scène serait pertinente en logistique ou en maintenance. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par des pairs, sans chiffres publics dans le résumé. Il ne permet donc pas d'évaluer l'écart entre démonstration et fiabilité en production.

Ce travail s'inscrit dans la lignée des approches de distillation enseignant-étudiant, devenues standard pour le transfert simulation-réel en locomotion et en contrôle corps entier. Il prolonge GPC, proposé récemment pour le contrôle humanoïde général à partir de mouvements humains à grande échelle. Il rejoint aussi les efforts sur les politiques généralistes corps entier des acteurs industriels et académiques, comme GR00T chez NVIDIA, sans rapport de performance direct démontré ici. La suite logique serait une validation sur un robot physique, avec des métriques de robustesse et des comparaisons à des méthodes de référence. Aucune échéance de déploiement ni partenaire industriel n'est mentionné à ce stade.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

EgoPriMo : génération de mouvement égocentrique pour le contrôle interactif d'humanoïdes

Des chercheurs ont publié le 9 juin 2026 sur arXiv (réf. 2606.08495) EgoPriMo, un cadre unifié d'apprentissage de prior de mouvement pour robots humanoïdes, entraîné exclusivement à partir de démonstrations humaines en vue égocentrique (caméra portée sur la personne). Le système prend en entrée une séquence vidéo égocentrique et un prompt texte, puis reconstruit, génère ou prédit des mouvements corps entier au format SMPL (Skinned Multi-Person Linear model, le standard académique de représentation du squelette humain). L'architecture centrale est un Triple-stream Diffusion Transformer (DiT) qui modélise conjointement la dynamique corporelle, le contexte visuel égocentriique et le langage naturel via un seul checkpoint partagé, des masques de conditionnement de tâche routant les trois cas d'usage sans architecture distincte. Évalué sur les datasets Nymeria et EgoExo4D, EgoPriMo surpasse UniEgoMotion sur la génération égocentrique, et les trajectoires SMPL produites ont été exécutées avec succès sur le contrôleur humanoïde Unitree (probablement G1 ou H1). Il s'agit d'un papier de recherche, pas d'un déploiement industriel. L'intérêt de cette approche tient à son vecteur de données : les vidéos égocentrique humaines (Nymeria, EgoExo4D) sont disponibles à grande échelle, contrairement aux démonstrations téléopérées sur robots qui restent coûteuses et lentes à collecter. En utilisant le langage comme signal de contrôle haut niveau plutôt que comme spécification complète du mouvement, EgoPriMo vise la généralisation comportementale sans avoir à décrire exhaustivement chaque trajectoire, ce qui est l'un des verrous historiques des systèmes VLA (Vision-Language-Action). Le fait qu'un seul checkpoint gère reconstruction, génération et prévision simplifie le déploiement et réduit la dette de maintenance. La validation sur Unitree démontre une transition sim-to-real partielle, bien qu'aucun chiffre de robustesse en environnement non contrôlé ne soit communiqué dans l'abstract. Ce travail s'inscrit dans une compétition dense autour des priors de mouvement pour humanoïdes. Physical Intelligence (Pi-0), NVIDIA (GR00T N2) et Figure (03) investissent massivement dans des pipelines VLA capables de généraliser à des tâches variées. L'originalité d'EgoPriMo est de contourner la dépendance aux données robot en exploitant l'observation humaine égocentrique, une direction explorée également par des travaux issus de CMU et Stanford sur l'imitation via vidéo. Le choix de Unitree comme cible hardware est cohérent avec sa diffusion large dans les labos académiques. Les prochaines étapes naturelles seraient une validation en environnement semi-industriel et une intégration dans une boucle de contrôle fermée, deux dimensions absentes de ce preprint.

RechercheOpinion

1 source

2arXiv cs.RO

Imagine2Real : vers l'interaction robot humanoïde-objet sans apprentissage préalable grâce aux priors génératifs vidéo

Une équipe de chercheurs présente Imagine2Real, un framework zéro-shot pour la manipulation humanoïde d'objets, publié sur arXiv en mai 2026. L'Humanoid-Object Interaction (HOI) en corps entier, soit la capacité d'un humanoïde à interagir physiquement avec des objets en coordonnant l'ensemble de ses degrés de liberté, reste historiquement freinée par la rareté des données 3D haute fidélité. Imagine2Real contourne cette limitation en s'appuyant sur des vidéos génératives comme priors de mouvement, sans recourir à des modèles CAO explicites. Les déplacements du robot et des objets sont formalisés comme des trajectoires 4D en points discrets. Un module appelé Keypoints Tracker suit uniquement trois repères critiques (base, mains, objet), court-circuitant le retargeting morphologique, source classique d'amplification d'erreurs. Pour maintenir des allures naturelles malgré ces signaux épars, le système exploite l'espace latent d'un Behavior Foundation Model (BFM), un modèle de fondation entraîné sur des comportements locomoteurs. Une stratégie d'entraînement progressive complète le pipeline, permettant un déploiement physique zéro-shot en environnement de capture de mouvement (mocap). Le travail s'attaque à deux verrous documentés dans la littérature : le "Representation Misalignment", décalage entre les priors géométriques et la réalité physique du robot, et la "Retargeting Complexity", difficulté d'adapter des mouvements humains à une morphologie robotique différente. En réduisant le retargeting à trois points-clés et en supprimant la dépendance aux modèles CAO, Imagine2Real compresse le pipeline de données nécessaire pour générer de nouveaux comportements. Le zéro-shot démontré en déploiement physique, et non uniquement en simulation, distingue la contribution des approches antérieures. Pour un intégrateur ou un décideur industriel, l'enjeu est clair : bootstrapper de nouvelles compétences de manipulation sans dataset 3D dédié ni séquences mocap par tâche. Imagine2Real s'inscrit dans un courant de recherche exploitant les video diffusion models comme source de connaissance pour la robotique, en parallèle des travaux de Physical Intelligence (pi0, pi0-FAST), de NVIDIA (GR00T N2) et des approches VLA de Google DeepMind. La distinction revendiquée est l'abandon des priors géométriques là où les méthodes concurrentes les jugent incontournables. Aucun partenaire industriel ni calendrier de déploiement réel n'est mentionné dans ce preprint : il s'agit d'une contribution de recherche fondamentale, dont les suites naturelles incluront l'extension à des catégories d'objets plus larges et une validation hors environnement mocap contrôlé.

RechercheOpinion

1 source

3arXiv cs.RO

Apprentissage de a priori de mouvement sensibles au contexte pour le contrôle d'humanoïdes

Publié sur arXiv (référence 2608.03234v1), le framework Context-Aware Motion Priors (CMP) s'attaque à un défaut connu de l'apprentissage par imitation de mouvements chez les humanoïdes : les motion priors classiques, appris une fois sur tout le jeu de données de référence, sont appliqués uniformément durant l'entraînement sans distinguer les mouvements pertinents pour la tâche en cours. CMP apprend une compatibilité contexte-mouvement à partir des trajectoires de politique les plus prometteuses, tout en restant ancré sur les démonstrations de référence. Les scores obtenus repondèrent la supervision pour entraîner un adaptateur léger conditionné par le contexte, sans étiquetage manuel ni étape de découverte de compétences séparée. L'approche est validée avec deux familles de priors, Adversarial Motion Priors et Score-Matching Motion Priors, sur cinq tâches de contrôle humanoïde. L'enjeu dépasse la performance académique. L'imitation de mouvements par renforcement est la méthode dominante pour doter les humanoïdes de comportements fluides, une brique reprise dans la plupart des piles logicielles du secteur, de Figure à Unitree. Son talon d'Achille reste le caractère générique du prior, incapable de distinguer un mouvement utile d'un mouvement parasite selon la tâche, ce qui pèse sur l'efficacité d'échantillonnage, un facteur critique quand chaque itération d'entraînement coûte du temps de calcul en simulation. En démontrant un gain constant de performance sur cinq tâches sans labellisation additionnelle, CMP s'attaque à un goulot d'étranglement identifié de la recherche en contrôle humanoïde, sans pour autant constituer un système déployé sur robot physique ni un produit annoncé par un fabricant. Le travail s'inscrit dans la lignée des Adversarial Motion Priors, popularisées à partir de 2021 pour l'animation de personnages physiques puis largement reprises dans le contrôle humanoïde par renforcement, et des Score-Matching Motion Priors plus récentes, inspirées des modèles de diffusion. CMP se positionne comme une couche d'adaptation contextuelle au-dessus de ces deux familles plutôt que comme une méthode concurrente. La publication ne précise ni affiliation institutionnelle ni calendrier au-delà de l'article arXiv lui-même ; si les résultats se confirment sur des tâches plus complexes, la suite logique serait une intégration dans les pipelines d'entraînement sim-to-real des acteurs humanoïdes qui s'appuient déjà sur des motion priors pour la locomotion et la manipulation.

RecherchePaper

1 source

4arXiv cs.RO

PAMoR : génération en temps réel de mouvements affectifs paramétrés pour robots humanoïdes

Des chercheurs ont publié le 28 août 2026 sur arXiv (2608.28213) un système baptisé PAMoR, qui génère des mouvements de robot humanoïde porteurs d'une émotion mesurable, plutôt qu'imitée depuis une vidéo de référence ou un simple mot-clé comme le font les systèmes existants pour avatars virtuels. Le système calcule en forme fermée une coordonnée de valence-arousal directement depuis la cinématique du robot, à partir de l'expansion posturale et de l'énergie du mouvement, sans aucune annotation humaine. Un modèle d'action et deux modèles affectifs, entraînés dans un espace latent partagé, se combinent à chaque étape de débruitage: le premier fixe la tâche exécutée, les seconds en modulent la tonalité émotionnelle. Le mouvement corps entier tourne en temps réel, en boucle autorégressive, sur un Unitree G1 à 29 degrés de liberté, action et émotion restant modifiables à la volée. Lors d'une étude perceptuelle, des évaluateurs humains ont identifié l'émotion commandée dans 38% des essais, contre 44% pour des mouvements joués par des acteurs humains. Le secteur humanoïde communique surtout sur la manipulation et la locomotion; l'expressivité émotionnelle des robots reste le plus souvent démontrée par des vidéos sélectionnées plutôt que mesurée par un protocole contrôlé. PAMoR propose un paramètre affectif quantifiable et éditable en temps réel, exploitable dans une boucle de contrôle, ce qui intéresse les intégrateurs travaillant sur l'accueil, l'assistance ou l'interaction sociale, sans dégrader la fidélité texte-mouvement des modèles d'action pure. Le score de reconnaissance de 38%, inférieur au niveau humain mais validé par une comparaison perceptuelle explicite plutôt que par une démo triée, fournit une mesure rare et vérifiable de l'expressivité d'un humanoïde, un exercice auquel peu d'annonces du secteur se prêtent. La génération de mouvement expressif existait déjà pour les avatars virtuels, où le style émotionnel provient d'un clip de référence ou d'un mot d'émotion, deux entrées jugées non quantifiables par les auteurs de PAMoR. Le travail transpose cette approche à la robotique physique via le Unitree G1, plateforme de recherche largement utilisée en académie: il s'agit d'une démonstration reproductible et non d'un produit commercial, issue d'une publication arXiv non encore évaluée par les pairs. Elle se distingue des efforts commerciaux centrés sur la manipulation et la locomotion, à l'image des modèles vision-langage-action Pi-0 ou GR00T N2, en ciblant spécifiquement l'affect social du mouvement. Aucun calendrier de transfert vers une plateforme commerciale ni partenariat industriel n'est mentionné à ce stade.

RecherchePaper

1 source