Aller au contenu principal
Retargeting de mouvement du haut du corps, de l'humain au robot, préservant la géométrie à partir d'une vidéo monoculaireIllustration générée par IA
RecherchearXiv cs.RO 

Retargeting de mouvement du haut du corps, de l'humain au robot, préservant la géométrie à partir d'une vidéo monoculaire

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs proposent un cadre de retargeting de mouvement qui convertit une simple vidéo RVB monoculaire en mouvements coordonnés du haut du corps pour un robot dual-bras à main dextre. Le système repose sur une reconstruction unifiée corps-mains : les estimations image par image du corps, les observations à l'échelle de la vidéo et les détails des mains contraignent ensemble un unique état du Momentum Human Rig (MHR), un modèle corporel différentiable. Les artefacts transitoires sur les mains sont corrigés directement dans l'espace des paramètres. Le mouvement est ensuite décrit par des grandeurs géométriques (directions des segments du bras, configuration du coude, orientation relative des paumes, relations bilatérales des poignets), puis exécuté par une cinématique inverse en plusieurs étapes et une adaptation propre à la main du robot. Au sein d'un système plus large, Across-VAM gère la génération vidéo et Across-WAM la mise en correspondance humain-robot. L'évaluation porte sur 16 vidéos (1 769 images source), dont 10 séquences de langue des signes et 6 de saisie. L'erreur moyenne de reprojection des mains passe de 22,36 à 7,21 pixels par rapport à SAM 3D Body. Les 16 trajectoires ont été rejouées en simulation cinématique, et deux mouvements représentatifs (signes, saisie) ont été démontrés sur un robot réel.

Pour l'industrie, l'intérêt tient à la source de données. La vidéo monoculaire est la matière première la moins chère pour l'apprentissage par démonstration, bien moins coûteuse que la téléopération ou les gants de capture. Mais le transfert vers un robot bute sur un problème concret : corps et mains sont reconstruits à des échelles différentes, les cinématiques divergent et les mouvements distaux fins se perdent. Une réduction de l'erreur de reprojection de plus des deux tiers sur les mains est significative pour la dextérité, là où les pipelines existants dégradent le plus. Des réserves s'imposent toutefois. L'échantillon est très réduit (16 vidéos), le succès en simulation ne mesure que la faisabilité cinématique, sans dynamique ni contact, et la validation physique se limite à deux démonstrations qualitatives, sans taux de réussite chiffré. Le gain est mesuré contre un seul point de comparaison, et le cas de la langue des signes, bien que parlant, reste éloigné de la manipulation industrielle.

Ce travail s'inscrit dans la course à la donnée pour les modèles de politique robotique. Les acteurs comme Figure, Tesla (Optimus) ou Physical Intelligence cherchent à exploiter des vidéos humaines à grande échelle pour nourrir leurs VLA, et la qualité du retargeting devient un goulot d'étranglement. La séparation entre génération vidéo (Across-VAM) et mapping humain-robot (Across-WAM) suggère une architecture modulaire pensée pour relier des modèles génératifs à l'exécution. Les prochaines étapes à surveiller sont une évaluation sur davantage de séquences, des taux de succès en manipulation réelle avec contacts, et une intégration avec des politiques apprises. Le papier est un preprint sur arXiv, non évalué par les pairs, et aucun calendrier de déploiement n'est annoncé.

À lire aussi

BeyondRetarget : apprendre des mouvements humanoïdes exécutables directement à partir d'une vidéo monoculaire
Illustration générée par IA
1arXiv cs.RO 

BeyondRetarget : apprendre des mouvements humanoïdes exécutables directement à partir d'une vidéo monoculaire

Une équipe de recherche propose BeyondRetarget, un framework qui apprend des mouvements exécutables pour robots humanoïdes directement à partir de vidéos RGB monoculaires, sans passer par l'étape classique de reconstruction explicite du mouvement humain puis de retargeting vers le squelette du robot. Décrit dans un preprint arXiv publié fin septembre 2026, le système apprend une représentation implicite orientée robot directement depuis les images, complétée par un mécanisme d'optimisation de mouvement dit "contact-aware" censé améliorer la cohérence temporelle et la plausibilité physique des trajectoires générées. Les auteurs rapportent des gains en précision, en robustesse et en taux de réussite d'exécution, ainsi qu'une latence réduite, à la fois en simulation et sur des robots humanoïdes réels.

RecherchePaper
1 source
MoViC : contrôle du corps entier d'un robot humanoïde en temps réel à partir de flux vidéo monoculaires
Illustration générée par IA
2arXiv cs.RO 

MoViC : contrôle du corps entier d'un robot humanoïde en temps réel à partir de flux vidéo monoculaires

Une équipe de chercheurs publie sur arXiv MoViC, un framework qui permet de piloter un robot humanoïde en temps réel à partir d'un simple flux vidéo RGB monoculaire, sans combinaison de capture de mouvement ni capteurs portés par l'opérateur. Le système enchaîne trois briques : une reconstruction du mouvement humain à partir de l'image, un retargeting vers la morphologie du robot, puis une politique de contrôle de type behavior foundation model basée sur un transformer. Cette politique reçoit l'historique proprioceptif, une seule référence explicite pour le pas de temps suivant, et une représentation compacte dans le domaine fréquentiel qui fournit le contexte temporel sans empiler de futures images de référence, ce qui réduit la dimension d'entrée et la taille du…

RecherchePaper
1 source
SMR : apprentissage du retargeting de mouvement en flux continu pour humanoïdes à partir de la sémantique humaine
Illustration générée par IA
3arXiv cs.RO 

SMR : apprentissage du retargeting de mouvement en flux continu pour humanoïdes à partir de la sémantique humaine

Des chercheurs proposent SMR, un système de retargeting de mouvement en flux continu qui convertit les gestes humains en références exécutables par un humanoïde. L'approche repose sur des « experts physiques » qui suivent, en simulation, des cibles dérivées du mouvement humain: positions, orientations et vitesses de repères corporels, exprimées dans l'espace des tâches du robot. Ces experts doivent respecter les contacts, la dynamique et les limites des actionneurs. Seules les trajectoires réellement exécutées qui mènent le mouvement à son terme et passent des contrôles de validité sémantique et physique sont conservées. Elles servent ensuite à entraîner un unique Transformer strictement causal.

RecherchePaper
1 source
ViT-H : contrôle génératif d'un humanoïde à partir de vidéo, avec retour de suivi du mouvement
Illustration générée par IA
4arXiv cs.RO 

ViT-H : contrôle génératif d'un humanoïde à partir de vidéo, avec retour de suivi du mouvement

Des chercheurs publient sur arXiv ViT-H, un cadre de contrôle « vidéo vers humanoïde » qui génère directement des mouvements de référence pour robot à partir de vidéos monoculaires. Un modèle de diffusion produit ces trajectoires sans passer par la reconstruction du mouvement humain ni par le retargeting, c'est-à-dire l'adaptation du mouvement à la morphologie du robot. Les résultats de suivi de mouvement par un contrôleur (le « tracker ») servent ensuite à post-entraîner le générateur par optimisation directe des préférences (DPO). Une variante autorégressive permet une téléopération humanoïde par vidéo en temps réel, avec une latence inférieure à 400 ms. Les expériences portent sur le Unitree G1.

RecherchePaper
1 source