RecherchearXiv cs.RO 22 octobre 2026

SMR : apprentissage du retargeting de mouvement en flux continu pour humanoïdes à partir de la sémantique humaine

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent SMR, un système de retargeting de mouvement en flux continu qui convertit les gestes humains en références exécutables par un humanoïde. L'approche repose sur des « experts physiques » qui suivent, en simulation, des cibles dérivées du mouvement humain: positions, orientations et vitesses de repères corporels, exprimées dans l'espace des tâches du robot. Ces experts doivent respecter les contacts, la dynamique et les limites des actionneurs. Seules les trajectoires réellement exécutées qui mènent le mouvement à son terme et passent des contrôles de validité sémantique et physique sont conservées. Elles servent ensuite à entraîner un unique Transformer strictement causal. À chaque image reçue, ce modèle n'utilise que les observations humaines courantes et passées pour produire une référence de mouvement, transmise à un contrôleur de corps entier en aval. L'étude, publiée sur arXiv (v1), ne fournit dans son résumé ni nombre de degrés de liberté, ni robot cible, ni latence chiffrée, ni résultat sur matériel réel.

L'enjeu tient à deux limites des pipelines actuels. Les méthodes cinématiques font de la correspondance géométrique sans savoir si la trajectoire est exécutable par le robot. Les méthodes neuronales supervisées par la physique, elles, s'entraînent sur des trajectoires cinématiques raffinées, restent donc liées à ces solutions de départ, et exigent des modèles bidirectionnels sur séquences complètes, incompatibles avec le temps réel. En supprimant ce besoin de contexte futur, SMR vise la téléopération et l'imitation en direct, où le robot doit réagir sans attendre la fin du geste. Les auteurs affirment que les experts conditionnés par la sémantique produisent des mouvements plus fidèles et plus physiquement valides que l'optimisation directe, et que le retargeter obtient de meilleurs résultats en boucle fermée que les références cinématiques et physiquement raffinées, avec un même contrôleur de corps entier. Ces gains restent à vérifier: le résumé ne donne aucun chiffre, et un résultat obtenu en simulation ne garantit pas le transfert sim-to-real.

Ce travail s'inscrit dans la vague de contrôle de corps entier pour humanoïdes alimentée par la capture de mouvement humain, où le retargeting sert de brique entre données humaines et politiques robotiques. La chaîne classique de cinématique inverse suivie d'un raffinement physique y est devenue un goulot d'étranglement, en coût de calcul comme en latence. SMR rejoint les approches qui distillent des experts de simulation vers un modèle léger, déployable en ligne. Il faudra attendre le texte complet, le code et d'éventuelles validations sur robot réel pour mesurer l'apport face aux baselines établies.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Pipeline rapide de retargeting de mouvement pour l'apprentissage à grande échelle des robots humanoïdes

Des chercheurs du laboratoire DAROS présentent FRDV (Fast Retargeting with Dynamics Validation), un cadre logiciel qui convertit de grandes bases de données de capture de mouvement humain en trajectoires exploitables par des robots humanoïdes. Il se compose de deux étages. Le premier est un retargeting cinématique sous contraintes, fondé sur un solveur de programmation quadratique séquentielle (SQP) développé sur mesure, une itération en temps réel (Real-Time Iteration) et un traitement parallèle par segments (chunks). Il atteint jusqu'à 9 156 images par seconde, soit environ 136 fois plus vite que GMR et ProtoMotions, les deux références comparées. Des contraintes propres à chaque robot sont intégrées à l'optimisation pour limiter les artefacts courants, comme la pénétration du sol ou l'auto-collision. Le second étage, optionnel, sert aux mouvements qui exigent une vérification supplémentaire. Un contrôleur iLQR à contacts implicites teste la référence sous dynamique complète du corps rigide, repère les mouvements dynamiquement infaisables et corrige les défauts de contact tels que le pied flottant ou le patinage. L'évaluation a consisté à entraîner des politiques d'apprentissage par renforcement de suivi de mouvement avec plusieurs pipelines de pointe, puis à comparer fidélité de suivi et taux de succès. Un transfert sim-to-real a été démontré sur un Unitree G1. Les vidéos et le code sont publiés. L'enjeu est très pratique : le retargeting est devenu un goulot d'étranglement dans l'apprentissage humanoïde. Les approches d'optimisation de trajectoire cinédynamique sont coûteuses en calcul et demandent souvent des retouches manuelles par mouvement, ce qui limite l'exploitation de jeux de données comptant des milliers d'heures. Un facteur 136 change l'ordre de grandeur : retargeter un corpus entier devient une opération de routine, ce qui facilite l'adaptation à plusieurs morphologies de robots. La validation dynamique, utilisée seulement quand c'est nécessaire, filtre les mouvements irréalisables avant de gaspiller du temps d'entraînement RL. Deux réserves s'imposent. Le chiffre de 9 156 images par seconde est un maximum, dont le matériel et la configuration de référence ne sont pas précisés ici. La démonstration réelle se limite à un seul robot, le G1, plateforme académique très répandue mais peu représentative des humanoïdes industriels plus lourds. Ces travaux s'inscrivent dans la vague des pipelines de suivi de mouvement par RL, où les politiques imitent des références humaines avant d'être transférées au robot. Les outils open source comme GMR et ProtoMotions ont rendu ces méthodes accessibles, mais leur coût de calcul et leur dépendance à des réglages manuels freinent le passage à l'échelle. FRDV vise cette limite en se positionnant comme brique d'infrastructure, et non comme modèle de fondation. Les prochaines étapes naturelles seraient des tests sur d'autres plateformes humanoïdes, des mouvements plus dynamiques et une intégration dans les chaînes d'entraînement des modèles généralistes. Le code étant public, l'adoption par la communauté dira si le gain de vitesse se confirme hors du banc d'essai des auteurs.

RecherchePaper

1 source

2arXiv cs.RO

Retargeting dynamique direct pour l'apprentissage par imitation des humanoïdes à partir de vidéos

Une nouvelle méthode d'apprentissage par imitation pour robots humanoïdes vient d'être publiée sur arXiv (2605.23762, mai 2026), proposant un cadre à étape unique baptisé Direct Dynamic Retargeting (DDR). L'objectif est d'apprendre des comportements moteurs complexes à partir de simples vidéos monoculaires de démonstration humaine, sans capteurs de mouvement ni combinaisons de capture. Le défi central est morphologique : un humain et un robot humanoïde ne partagent ni les mêmes proportions, ni les mêmes centres de masse, ni les mêmes contraintes articulaires, ce qui rend la transposition directe des trajectoires impossible. Les approches standards, dites Geometric Retargeting ou Indirect Dynamic Retargeting, projettent d'abord le mouvement humain dans un espace cinématique intermédiaire avant de générer les commandes robot, introduisant ce que les auteurs appellent un biais géométrique qui restreint l'espace de solutions et produit des comportements sous-optimaux. DDR supprime cette étape intermédiaire en formulant le problème directement dans l'espace des tâches (task space), couplé à un solveur de contrôle prédictif par modèle (Model Predictive Control, MPC) à base d'échantillonnage, exécuté au sein d'un simulateur physique. Ce couplage permet au système d'optimiser nativement les séquences de contact sol-pied tout en limitant la dérive des entrées, garantissant la faisabilité dynamique des trajectoires générées. Les expériences montrent que DDR surpasse les méthodes de référence en précision de suivi des démonstrations. Plus significatif pour les praticiens : fournir ces références physiquement viables à un agent d'apprentissage par renforcement accélère la convergence de l'entraînement et améliore l'exécution finale de comportements agiles et d'équilibrage dynamique. L'apprentissage par imitation à partir de vidéo est devenu un axe majeur de la robotique humanoïde, porté par des travaux comme Pi-0 de Physical Intelligence ou les pipelines de données de téléopération développés chez Figure AI et Agility Robotics. Ces approches cherchent à exploiter l'immense corpus de vidéos de mouvements humains disponibles en ligne pour réduire le coût prohibitif de la collecte de données sur robot. DDR s'inscrit dans cette tendance mais attaque le problème par la dynamique plutôt que par la géométrie, un pari prometteur qui reste à valider en conditions réelles : aucun résultat physique sur robot n'est présenté dans cet article, uniquement des évaluations en simulation. Le code source sera rendu public, ce qui permettra à la communauté de reproduire et d'étendre ces résultats.

RecherchePaper

1 source

3arXiv cs.RO

ForgetMimic : désapprentissage de mouvements pour le contrôle par apprentissage par renforcement d'humanoïdes

ForgetMimic, une méthode de désapprentissage au niveau du mouvement pour les politiques de contrôle de robots humanoïdes entraînées par apprentissage par renforcement à partir de démonstrations humaines, a été décrite dans un preprint arXiv (2609.28378) et testée sur les robots Unitree G1 et H2, sur douze mouvements incluant danse, combat et saut (flip). Le principe : à partir d'une politique entraînée sur N mouvements, la méthode dégrade sélectivement la performance sur un sous-ensemble ciblé de K mouvements tout en préservant les N-K mouvements restants. Les auteurs indiquent avoir identifié et corrigé deux mécanismes d'entraînement responsables des échecs de désapprentissage observés dans les approches naïves, et montrent expérimentalement que la mémoire des mouvements visés est effacée sans dégrader les autres comportements appris. L'enjeu dépasse la prouesse technique : les politiques RL pour humanoïdes s'appuient sur des bibliothèques de démonstrations pouvant contenir des mouvements malveillants, corrompus, sous-optimaux ou protégés par le droit d'auteur, et la seule parade jusqu'ici consistait à réentraîner la politique entière à partir d'un jeu de données expurgé, une opération coûteuse en calcul. Pour les intégrateurs et fabricants, retirer un mouvement précis sans tout reprendre représente un gain opérationnel direct, notamment face à des obligations comme le droit à l'oubli du RGPD européen appliqué aux données de capture de mouvement humain. ForgetMimic ouvre ainsi une voie technique concrète pour la gouvernance des données de mouvement en robotique, même si l'étude reste un travail académique mené sur deux plateformes et ne constitue pas un produit déployé. Le contrôle humanoïde par imitation de démonstrations via le RL s'est imposé ces dernières années comme un paradigme dominant pour obtenir des locomotions agiles et naturelles, porté par des plateformes comme les Unitree G1 et H2, souvent choisies en recherche académique pour leur coût accessible face aux humanoïdes de Boston Dynamics, Figure ou Tesla. ForgetMimic se présente, selon ses auteurs, comme la première méthode de désapprentissage conçue spécifiquement pour le contrôle humanoïde en monde physique, un champ distinct de l'oubli sélectif déjà étudié pour les grands modèles de langage. Le papier ne mentionne aucun pilote industriel ni calendrier de déploiement : il s'agit d'une contribution de recherche tout juste publiée, dont la portée reste circonscrite aux douze mouvements testés en laboratoire, avec pour suites attendues l'extension à des répertoires plus larges et la validation sur d'autres plateformes.

UELa méthode pourrait offrir une réponse technique aux obligations de droit à l'oubli du RGPD appliquées aux données de capture de mouvement humain, sans lien avec une entreprise ou institution française identifiée.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage de a priori de mouvement sensibles au contexte pour le contrôle d'humanoïdes

Publié sur arXiv (référence 2608.03234v1), le framework Context-Aware Motion Priors (CMP) s'attaque à un défaut connu de l'apprentissage par imitation de mouvements chez les humanoïdes : les motion priors classiques, appris une fois sur tout le jeu de données de référence, sont appliqués uniformément durant l'entraînement sans distinguer les mouvements pertinents pour la tâche en cours. CMP apprend une compatibilité contexte-mouvement à partir des trajectoires de politique les plus prometteuses, tout en restant ancré sur les démonstrations de référence. Les scores obtenus repondèrent la supervision pour entraîner un adaptateur léger conditionné par le contexte, sans étiquetage manuel ni étape de découverte de compétences séparée. L'approche est validée avec deux familles de priors, Adversarial Motion Priors et Score-Matching Motion Priors, sur cinq tâches de contrôle humanoïde. L'enjeu dépasse la performance académique. L'imitation de mouvements par renforcement est la méthode dominante pour doter les humanoïdes de comportements fluides, une brique reprise dans la plupart des piles logicielles du secteur, de Figure à Unitree. Son talon d'Achille reste le caractère générique du prior, incapable de distinguer un mouvement utile d'un mouvement parasite selon la tâche, ce qui pèse sur l'efficacité d'échantillonnage, un facteur critique quand chaque itération d'entraînement coûte du temps de calcul en simulation. En démontrant un gain constant de performance sur cinq tâches sans labellisation additionnelle, CMP s'attaque à un goulot d'étranglement identifié de la recherche en contrôle humanoïde, sans pour autant constituer un système déployé sur robot physique ni un produit annoncé par un fabricant. Le travail s'inscrit dans la lignée des Adversarial Motion Priors, popularisées à partir de 2021 pour l'animation de personnages physiques puis largement reprises dans le contrôle humanoïde par renforcement, et des Score-Matching Motion Priors plus récentes, inspirées des modèles de diffusion. CMP se positionne comme une couche d'adaptation contextuelle au-dessus de ces deux familles plutôt que comme une méthode concurrente. La publication ne précise ni affiliation institutionnelle ni calendrier au-delà de l'article arXiv lui-même ; si les résultats se confirment sur des tâches plus complexes, la suite logique serait une intégration dans les pipelines d'entraînement sim-to-real des acteurs humanoïdes qui s'appuient déjà sur des motion priors pour la locomotion et la manipulation.

RecherchePaper

1 source