Aller au contenu principal
Retargeting dynamique direct pour l'apprentissage par imitation des humanoïdes à partir de vidéosIllustration générée par IA
RecherchearXiv cs.RO 

Retargeting dynamique direct pour l'apprentissage par imitation des humanoïdes à partir de vidéos

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une nouvelle méthode d'apprentissage par imitation pour robots humanoïdes vient d'être publiée sur arXiv (2605.23762, mai 2026), proposant un cadre à étape unique baptisé Direct Dynamic Retargeting (DDR). L'objectif est d'apprendre des comportements moteurs complexes à partir de simples vidéos monoculaires de démonstration humaine, sans capteurs de mouvement ni combinaisons de capture. Le défi central est morphologique : un humain et un robot humanoïde ne partagent ni les mêmes proportions, ni les mêmes centres de masse, ni les mêmes contraintes articulaires, ce qui rend la transposition directe des trajectoires impossible. Les approches standards, dites Geometric Retargeting ou Indirect Dynamic Retargeting, projettent d'abord le mouvement humain dans un espace cinématique intermédiaire avant de générer les commandes robot, introduisant ce que les auteurs appellent un biais géométrique qui restreint l'espace de solutions et produit des comportements sous-optimaux.

DDR supprime cette étape intermédiaire en formulant le problème directement dans l'espace des tâches (task space), couplé à un solveur de contrôle prédictif par modèle (Model Predictive Control, MPC) à base d'échantillonnage, exécuté au sein d'un simulateur physique. Ce couplage permet au système d'optimiser nativement les séquences de contact sol-pied tout en limitant la dérive des entrées, garantissant la faisabilité dynamique des trajectoires générées. Les expériences montrent que DDR surpasse les méthodes de référence en précision de suivi des démonstrations. Plus significatif pour les praticiens : fournir ces références physiquement viables à un agent d'apprentissage par renforcement accélère la convergence de l'entraînement et améliore l'exécution finale de comportements agiles et d'équilibrage dynamique.

L'apprentissage par imitation à partir de vidéo est devenu un axe majeur de la robotique humanoïde, porté par des travaux comme Pi-0 de Physical Intelligence ou les pipelines de données de téléopération développés chez Figure AI et Agility Robotics. Ces approches cherchent à exploiter l'immense corpus de vidéos de mouvements humains disponibles en ligne pour réduire le coût prohibitif de la collecte de données sur robot. DDR s'inscrit dans cette tendance mais attaque le problème par la dynamique plutôt que par la géométrie, un pari prometteur qui reste à valider en conditions réelles : aucun résultat physique sur robot n'est présenté dans cet article, uniquement des évaluations en simulation. Le code source sera rendu public, ce qui permettra à la communauté de reproduire et d'étendre ces résultats.

À lire aussi

SMR : apprentissage du retargeting de mouvement en flux continu pour humanoïdes à partir de la sémantique humaine
Illustration générée par IA
1arXiv cs.RO 

SMR : apprentissage du retargeting de mouvement en flux continu pour humanoïdes à partir de la sémantique humaine

Des chercheurs proposent SMR, un système de retargeting de mouvement en flux continu qui convertit les gestes humains en références exécutables par un humanoïde. L'approche repose sur des « experts physiques » qui suivent, en simulation, des cibles dérivées du mouvement humain: positions, orientations et vitesses de repères corporels, exprimées dans l'espace des tâches du robot. Ces experts doivent respecter les contacts, la dynamique et les limites des actionneurs. Seules les trajectoires réellement exécutées qui mènent le mouvement à son terme et passent des contrôles de validité sémantique et physique sont conservées. Elles servent ensuite à entraîner un unique Transformer strictement causal.

RecherchePaper
1 source
Apprentissage du contrôle direct à partir de l'optimisation pour le suivi de cibles dynamiques
Illustration générée par IA
2arXiv cs.RO 

Apprentissage du contrôle direct à partir de l'optimisation pour le suivi de cibles dynamiques

LECO, un cadre d'apprentissage décrit dans un preprint arXiv (2610.34929v1), vise le suivi dynamique de cible par un robot mobile: garder la cible visible tout en évitant les obstacles, avec des commandes lisses et réalisables. Plutôt que de prédire des waypoints à faire suivre par un contrôleur, le réseau prédit directement des séquences de commandes. Celles-ci sont converties en trajectoires par un modèle cinématique différentiable, ce qui permet d'appliquer les objectifs de l'optimisation de trajectoire (visibilité, évitement, régularité) comme fonction de perte. Un curriculum à guidage expert décroissant initialise le comportement de suivi, puis déplace progressivement l'apprentissage vers ces objectifs.

RecherchePaper
1 source
Retargeting d'impédance par décomposition continue de variétés pour l'apprentissage par imitation à contacts riches
Illustration générée par IA
3arXiv cs.RO 

Retargeting d'impédance par décomposition continue de variétés pour l'apprentissage par imitation à contacts riches

CMDIR (Continuous Manifold-Decomposed Impedance Retargeting), présentée dans un article publié le 15 septembre 2026 sur arXiv (2609.15716), transforme des démonstrations à impédance fixe en contrôleurs à impédance variable continue destinés à l'apprentissage par imitation dans des tâches manipulatives à contact riche. La méthode s'appuie sur une représentation continue appelée TMIR (Task-Manifold Impedance Representation), qui associe un repère de tâche évolutif à des instructions de contrôle, et sur un module nommé Quality-to-Fast qui compile automatiquement une structure de solveur à partir de trajectoires de développement dans un espace fini prédéfini, puis certifie chaque candidat par évaluation multi-résolution.

RecherchePaper
1 source
L'apprentissage de la manipulation dextérique à partir de vidéos humaines du quotidien
Illustration générée par IA
4arXiv cs.RO 

L'apprentissage de la manipulation dextérique à partir de vidéos humaines du quotidien

Des chercheurs ont mis en ligne sur arXiv en juin 2026 un algorithme nommé DO AS I DO, conçu pour extraire automatiquement des trajectoires de manipulation dextère à partir de vidéos RGB monoculaires filmant des mains humaines en action. Le pipeline reconstruit les interactions main-objet depuis des vidéos égocentriques (caméra portée par l'opérateur) ou exocentriques (caméra tierce), captées en conditions réelles et sans capteurs de profondeur ni marqueurs, puis effectue un retargeting de ces estimations vers des mains robotiques multi-doigts pour produire des séquences d'actions directement exécutables sur robot physique.

RecherchePaper
1 source