RecherchearXiv cs.RO 21 octobre 2026

Pipeline rapide de retargeting de mouvement pour l'apprentissage à grande échelle des robots humanoïdes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs du laboratoire DAROS présentent FRDV (Fast Retargeting with Dynamics Validation), un cadre logiciel qui convertit de grandes bases de données de capture de mouvement humain en trajectoires exploitables par des robots humanoïdes. Il se compose de deux étages. Le premier est un retargeting cinématique sous contraintes, fondé sur un solveur de programmation quadratique séquentielle (SQP) développé sur mesure, une itération en temps réel (Real-Time Iteration) et un traitement parallèle par segments (chunks). Il atteint jusqu'à 9 156 images par seconde, soit environ 136 fois plus vite que GMR et ProtoMotions, les deux références comparées. Des contraintes propres à chaque robot sont intégrées à l'optimisation pour limiter les artefacts courants, comme la pénétration du sol ou l'auto-collision. Le second étage, optionnel, sert aux mouvements qui exigent une vérification supplémentaire. Un contrôleur iLQR à contacts implicites teste la référence sous dynamique complète du corps rigide, repère les mouvements dynamiquement infaisables et corrige les défauts de contact tels que le pied flottant ou le patinage. L'évaluation a consisté à entraîner des politiques d'apprentissage par renforcement de suivi de mouvement avec plusieurs pipelines de pointe, puis à comparer fidélité de suivi et taux de succès. Un transfert sim-to-real a été démontré sur un Unitree G1. Les vidéos et le code sont publiés.

L'enjeu est très pratique : le retargeting est devenu un goulot d'étranglement dans l'apprentissage humanoïde. Les approches d'optimisation de trajectoire cinédynamique sont coûteuses en calcul et demandent souvent des retouches manuelles par mouvement, ce qui limite l'exploitation de jeux de données comptant des milliers d'heures. Un facteur 136 change l'ordre de grandeur : retargeter un corpus entier devient une opération de routine, ce qui facilite l'adaptation à plusieurs morphologies de robots. La validation dynamique, utilisée seulement quand c'est nécessaire, filtre les mouvements irréalisables avant de gaspiller du temps d'entraînement RL. Deux réserves s'imposent. Le chiffre de 9 156 images par seconde est un maximum, dont le matériel et la configuration de référence ne sont pas précisés ici. La démonstration réelle se limite à un seul robot, le G1, plateforme académique très répandue mais peu représentative des humanoïdes industriels plus lourds.

Ces travaux s'inscrivent dans la vague des pipelines de suivi de mouvement par RL, où les politiques imitent des références humaines avant d'être transférées au robot. Les outils open source comme GMR et ProtoMotions ont rendu ces méthodes accessibles, mais leur coût de calcul et leur dépendance à des réglages manuels freinent le passage à l'échelle. FRDV vise cette limite en se positionnant comme brique d'infrastructure, et non comme modèle de fondation. Les prochaines étapes naturelles seraient des tests sur d'autres plateformes humanoïdes, des mouvements plus dynamiques et une intégration dans les chaînes d'entraînement des modèles généralistes. Le code étant public, l'adoption par la communauté dira si le gain de vitesse se confirme hors du banc d'essai des auteurs.

Dans nos dossiers

Unitree

À lire aussi

1arXiv cs.RO

Apprentissage des mouvements de patinage à roulettes pour robots humanoïdes via des priorités de mouvement adverses

Des chercheurs présentent, dans un article déposé le 14 juillet 2026 sur arXiv (2607.10815), une méthode d'apprentissage par renforcement pour faire patiner un robot humanoïde en rollers. Le système s'appuie sur les Adversarial Motion Priors (AMP), une technique qui entraîne une politique de contrôle à imiter des mouvements de référence tout en respectant les contraintes physiques du robot. Deux allures distinctes sont visées : le Pump Glide (une godille d'impulsion) et le Push Glide (une poussée alternée classique du patinage). Pour chacune, les auteurs ont capturé des données de mouvement humain par motion capture, puis les ont retargetées, c'est-à-dire adaptées à la morphologie du robot humanoïde, avant de les lisser et de les rééchantillonner en états de référence exploitables pour l'entraînement AMP. Les deux allures sont apprises séparément, avec des jeux de données, des politiques et des architectures de récompense entièrement indépendants. Des expériences en simulation évaluent la qualité du geste, le suivi de vitesse, la capacité à tourner et l'apport de chaque composante de récompense via des ablations. L'enjeu dépasse l'anecdote du robot à roulettes : patiner impose de gérer simultanément l'équilibre corps entier, des contacts roulants à faible frottement et une posture qui varie avec la vitesse, un problème de contrôle nettement plus contraint que la marche ou la course déjà démontrées sur humanoïdes. Réussir ce type de locomotion en simulation valide la robustesse des pipelines AMP pour des dynamiques de contact inhabituelles, un signal utile pour les équipes qui explorent des locomotions non conventionnelles (patins, skis, roues) au-delà des gaits bipèdes standards. Cela reste toutefois un résultat de simulation, sans transfert annoncé vers un robot physique ni précision sur la plateforme matérielle visée. Les méthodes AMP, popularisées dans l'animation de personnages puis reprises en robotique pour générer des démarches naturelles et stables, connaissent depuis deux ans une adoption croissante dans le contrôle d'humanoïdes, portée par des laboratoires travaillant sur la locomotion bipède avancée. Cet article s'inscrit dans cette lignée en repoussant le champ d'application vers des gaits hybrides homme-machine inédits. Les auteurs ne mentionnent pas de calendrier de validation sur robot réel ni de partenaire industriel associé à ces travaux.

RecherchePaper

1 source

2arXiv cs.RO

Retargeting dynamique direct pour l'apprentissage par imitation des humanoïdes à partir de vidéos

Une nouvelle méthode d'apprentissage par imitation pour robots humanoïdes vient d'être publiée sur arXiv (2605.23762, mai 2026), proposant un cadre à étape unique baptisé Direct Dynamic Retargeting (DDR). L'objectif est d'apprendre des comportements moteurs complexes à partir de simples vidéos monoculaires de démonstration humaine, sans capteurs de mouvement ni combinaisons de capture. Le défi central est morphologique : un humain et un robot humanoïde ne partagent ni les mêmes proportions, ni les mêmes centres de masse, ni les mêmes contraintes articulaires, ce qui rend la transposition directe des trajectoires impossible. Les approches standards, dites Geometric Retargeting ou Indirect Dynamic Retargeting, projettent d'abord le mouvement humain dans un espace cinématique intermédiaire avant de générer les commandes robot, introduisant ce que les auteurs appellent un biais géométrique qui restreint l'espace de solutions et produit des comportements sous-optimaux. DDR supprime cette étape intermédiaire en formulant le problème directement dans l'espace des tâches (task space), couplé à un solveur de contrôle prédictif par modèle (Model Predictive Control, MPC) à base d'échantillonnage, exécuté au sein d'un simulateur physique. Ce couplage permet au système d'optimiser nativement les séquences de contact sol-pied tout en limitant la dérive des entrées, garantissant la faisabilité dynamique des trajectoires générées. Les expériences montrent que DDR surpasse les méthodes de référence en précision de suivi des démonstrations. Plus significatif pour les praticiens : fournir ces références physiquement viables à un agent d'apprentissage par renforcement accélère la convergence de l'entraînement et améliore l'exécution finale de comportements agiles et d'équilibrage dynamique. L'apprentissage par imitation à partir de vidéo est devenu un axe majeur de la robotique humanoïde, porté par des travaux comme Pi-0 de Physical Intelligence ou les pipelines de données de téléopération développés chez Figure AI et Agility Robotics. Ces approches cherchent à exploiter l'immense corpus de vidéos de mouvements humains disponibles en ligne pour réduire le coût prohibitif de la collecte de données sur robot. DDR s'inscrit dans cette tendance mais attaque le problème par la dynamique plutôt que par la géométrie, un pari prometteur qui reste à valider en conditions réelles : aucun résultat physique sur robot n'est présenté dans cet article, uniquement des évaluations en simulation. Le code source sera rendu public, ce qui permettra à la communauté de reproduire et d'étendre ces résultats.

RecherchePaper

1 source

3arXiv cs.RO

CoMo : apprendre le mouvement latent continu depuis des vidéos internet pour un apprentissage robotique à grande échelle

Des chercheurs ont publié sur arXiv (référence 2505.17006, version 3) une méthode baptisée CoMo, pour "Continuous Motion", conçue pour extraire automatiquement des représentations continues du mouvement à partir de vidéos issues d'Internet, et les réutiliser comme étiquettes d'action pour entraîner des politiques robotiques. CoMo repose sur deux mécanismes distincts : une différence temporelle précoce (Td) appliquée en amont de l'encodeur pour rendre plus difficile l'apprentissage par raccourcis visuels (les modèles ont tendance à coder l'arrière-plan statique plutôt que le mouvement lui-même), et un apprentissage contrastif temporel (Tcl) qui construit des paires positives avec un décalage temporel réduit vers le futur, et des paires négatives en inversant la direction du temps. Le résultat est un espace latent continu, entraîné sur des vidéos à grande échelle, capable de générer des pseudo-étiquettes d'action pour des vidéos jamais vues en phase d'inférence. Des expériences en simulation et en conditions réelles montrent des gains de performance par rapport aux approches discrètes, aussi bien avec des architectures diffusion que autorégressives. L'enjeu industriel est direct : l'un des goulots d'étranglement du robot learning est la rareté des démonstrations téléopérées, coûteuses à collecter. Si une méthode peut extraire un signal d'action utilisable depuis des vidéos YouTube ou des caméras industrielles non étiquetées, elle réduit mécaniquement le coût de constitution des datasets. La contribution principale de CoMo face aux méthodes discrètes par quantification vectorielle (VQ) est de supprimer la perte d'information liée à la projection dans un codebook de petite taille, et surtout de combler le fossé de distribution entre un espace discret de tokens visuels et un espace d'actions continues à valeurs réelles, fossé qui pénalise l'apprentissage conjoint d'une politique unifiée. La généralisation zéro-shot annoncée est la prétention la plus forte : elle signifie que CoMo pourrait étiqueter des vidéos de nouveaux environnements ou tâches sans ré-entraînement, ce qui reste à valider sur des benchmarks standardisés ; l'abstract ne cite pas de métriques numériques précises. Ce travail s'inscrit dans un axe de recherche très actif depuis 2023, qui cherche à exploiter Internet comme source de supervision pour les robots, aux côtés de méthodes comme RT-2 de Google DeepMind, Pi-0 de Physical Intelligence, ou encore les travaux sur les VLA (Vision-Language-Action models) d'UC Berkeley et du MIT. Les approches discrètes concurrentes (type GROOT ou méthodes VQ-VAE appliquées à la vidéo) souffrent précisément des limitations que CoMo prétend résoudre. La prochaine étape naturelle serait une validation sur des benchmarks robotiques communautaires comme RLBench, LIBERO ou BridgeData V2, et un test à l'échelle de données réellement "internet-scale" pour confirmer si la généralisation zéro-shot tient face à la diversité des distributions visuelles du monde réel.

RecherchePaper

1 source

4arXiv cs.RO

Retargeting de mouvement à dense résolution temporelle pour robots à pattes

Une équipe de chercheurs publie sur arXiv (v1, septembre 2026) une méthode baptisée DTMR (Dense Temporal Motion Retargeting) pour adapter à des robots à pattes des mouvements issus d'humains ou d'animaux. Le problème visé est l'écart morphologique entre la source et le robot : une réception de saut ou un temps de vol humain ne sont pas réalisables tels quels par une machine aux masses, couples et inerties différents. Les approches classiques corrigent soit la géométrie, soit le timing, soit les deux en séquence. DTMR optimise le timing et le contrôle dans un seul problème, et le terme « dense » signifie que le tempo est ajusté à chaque pas de contrôle. Le problème est résolu par un MPC (commande prédictive) à échantillonnage, exécuté en parallèle sur GPU. L'évaluation porte sur deux heures de mouvements humains retargetés sur quatre robots humanoïdes. Les auteurs affirment que DTMR surpasse les méthodes de référence, surtout sur les mouvements dynamiques. À budget de déformation temporelle égal, il retargete plus précisément qu'une base qui optimise aussi la dimension temporelle, avec un calcul environ 19 fois plus rapide. Des politiques entraînées sur ces références ont été transférées sur un humanoïde réel. L'intérêt tient à la place de cette étape dans la chaîne de production des comportements humanoïdes. Les politiques apprises par imitation ou par renforcement, qu'elles soient en simulation ou destinées au déploiement, dépendent de la qualité des trajectoires de référence. Si un saut est mal cadencé, la politique apprend soit à compenser par des artefacts, soit échoue. Ne déformer le temps que là où c'est nécessaire préserve le reste du mouvement, ce qui compte pour les gestes expressifs ou les tâches de loco-manipulation. Le gain d'un facteur 19 réduit le coût de préparation de grands corpus de mouvements, un goulot réel pour qui veut passer de quelques démos à des bibliothèques de compétences. Il faut toutefois rester prudent : le transfert réel n'est mentionné que sur un seul robot, sans taux de réussite ni précisions sur la nature des mouvements testés. Les comparaisons se font contre des baselines choisies par les auteurs, et la métrique de précision n'est pas détaillée dans le résumé. Il s'agit d'un résultat de recherche, pas d'un produit livré ni d'un déploiement. Ce travail s'inscrit dans une lignée qui va du retargeting cinématique par optimisation de pose aux pipelines de suivi de mouvement humain (type DeepMimic, puis les approches de tracking à grande échelle sur humanoïdes) et à l'essor du MPC par échantillonnage accéléré sur GPU. Il intéresse directement les acteurs qui entraînent des modèles généralistes à partir de données de mouvement humain, comme Figure, Tesla (Optimus), Unitree, Agility ou NVIDIA avec GR00T, ainsi que les laboratoires européens travaillant sur la locomotion, dont Wandercraft côté français. Les suites probables sont une diffusion du code et une validation sur davantage de plateformes et de mouvements à forte dynamique, comme les sauts, les roulades ou la course. Elles passeront aussi par l'intégration dans les pipelines d'entraînement de politiques complètes.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source