PriMoRetarget : transfert de mouvement humanoïde par reciblage de mouvement priorisé

OTRetarget : retargeting conjoint du mouvement du robot et de l'objet par transport optimal

Des chercheurs publient sur arXiv (2609.36602) OTRetarget, une méthode qui transfère des démonstrations humaines vers un humanoïde en retargetant conjointement le mouvement du robot et celui des objets manipulés. Elle représente les interactions de surface par trois quantités : distances signées, points les plus proches sur la surface et directions relatives. Un transport optimal entropique projette ces grandeurs entre les géométries de l'humain, du robot et des objets. Les cibles obtenues alimentent une cinématique inverse sous contraintes, qui arbitre à chaque frame entre préservation des contacts et style du mouvement, en optimisant simultanément les poses du robot et des objets. Sur le jeu de données OMOMO, les auteurs annoncent un score de Jaccard d'interaction robot-objet de 87 % et une erreur de profondeur de 8,7 mm, contre 28 % et 29,3 mm pour OmniRetarget. La validation physique porte sur un humanoïde Unitree G1, avec des politiques corps entier entraînées par apprentissage par renforcement sur les références retargetées. Les mouvements testés incluent la dépose à deux mains d'une boîte sur une table. Le retargeting est un goulot d'étranglement peu visible de la chaîne qui va de la capture humaine aux politiques de loco-manipulation. Quand les proportions du robot diffèrent de celles de l'opérateur, les contacts avec le sol et les objets dérivent, et les politiques apprennent alors sur des références physiquement incohérentes. La plupart des approches figent la trajectoire de l'objet ou remettent à l'échelle la scène et la démonstration. OTRetarget laisse l'objet libre de s'adapter à la morphologie du robot, sans changer l'échelle de la scène. Le gain annoncé face à OmniRetarget est important, mais il vient d'un benchmark sur données de capture, avec une métrique de contact définie par les auteurs. Il ne dit pas encore quel taux de réussite on obtiendrait sur des tâches longues ou contraintes en cadence. La démonstration matérielle se limite à un G1 de petite taille et à des tâches simples. Aucun temps de cycle, aucune charge utile ni aucun taux d'échec n'est mentionné dans le résumé. Ces travaux s'inscrivent dans la vague de pipelines « humain vers humanoïde » qui cherchent à produire des données d'entraînement à grande échelle sans téléopération coûteuse. OmniRetarget en est la référence directe, et OTRetarget se positionne explicitement contre lui. Le G1 est devenu la plateforme de recherche par défaut, car elle est abordable et largement répandue dans les laboratoires. Les VLA généralistes comme Pi-0, GR00T N2 ou Helix ont besoin de données cohérentes en contacts, ce qui donne à cette brique un intérêt direct. Les prochaines étapes à surveiller sont la diffusion du code, la validation sur des humanoïdes plus grands et sur des objets déformables ou articulés, ainsi qu'une évaluation sur des scènes multi-objets plus encombrées.

Robot humanoïde : transfert de mouvement corporel complet à grande échelle via un recalage cinéodynamique implicite

Des chercheurs présentent IKMR (Implicit Kinodynamic Motion Retargeting), un pipeline neuronal conçu pour transférer des mouvements humains complets vers des robots humanoïdes à très grande échelle. Le système repose sur un autoencodeur double à convolution de graphes basé sur le squelette, qui projette les configurations cinématiques humaines et robotiques, structurellement différentes, dans un espace latent topologique commun. Une phase de raffinement physique vient ensuite corriger les trajectoires grâce à un retour de suivi physique simulé, garantissant leur viabilité mécanique. Résultat clé : un débit de conversion de données dépassant 5000 images par seconde, un ordre de grandeur inatteignable avec les méthodes classiques d'optimisation numérique image par image. Les auteurs rapportent aussi des déploiements réels de contrôle corps entier sur robot humanoïde pour valider l'approche au-delà de la simulation. L'enjeu dépasse la prouesse technique. L'apprentissage par imitation humain-vers-humanoïde est vu comme une des voies les plus prometteuses pour contourner la pénurie de données d'entraînement en robotique, en exploitant les vastes corpus de mouvement humain déjà disponibles (vidéos, capture de mouvement, modèles génératifs). Mais ces données brutes sont bruitées, saccadées, sujettes au scintillement image par image, des défauts qui, une fois amplifiés par le retargeting classique, peuvent produire des mouvements physiquement dangereux pour le matériel. En traitant le nettoyage du bruit comme un sous-produit implicite de l'apprentissage plutôt qu'une étape séparée, et en déplaçant le coût de calcul vers l'inférence hors ligne, IKMR lève un goulot d'étranglement pratique pour quiconque veut synthétiser des jeux de données massifs de mouvements humanoïdes exploitables sans validation manuelle intensive. Ce travail, publié en version révisée sur arXiv, s'inscrit dans une dynamique de recherche plus large où plusieurs laboratoires cherchent à automatiser et industrialiser la conversion de données de mouvement humain en données d'entraînement robotique, un préalable identifié pour faire progresser les politiques de contrôle corps entier de type VLA (vision-language-action) utilisées par les plateformes humanoïdes actuelles. Les auteurs ne précisent pas de partenariat industriel ni de plateforme robotique commerciale associée à cette publication.

Simulation de l'expérience sensorimotrice du nourrisson par transfert de mouvements vers des humanoïdes

Une équipe de recherche a déposé sur arXiv (référence 2604.27583) un framework permettant de simuler l'expérience sensorimotrice multimodale de nourrissons en retransférant leurs mouvements sur des robots humanoïdes physiques et virtuels. À partir d'une seule vidéo, la méthode extrait le squelette de l'enfant et estime sa pose 3D complète image par image, puis mappe ces trajectoires sur quatre plateformes : le robot physique iCub et trois simulateurs virtuels, pyCub, EMFANT et MIMo. La relecture de ces mouvements retransférés génère des flux multisensoriels synthétiques couvrant la proprioception (articulations et muscles), le sens du toucher et la vision. Pour l'embodiment le mieux adapté morphologiquement, la précision de retargeting atteint moins d'un centimètre, ce qui permet une annotation automatisée fine des comportements moteurs. L'intérêt de ce travail dépasse la robotique développementale stricte. La plupart des approches de motion retargeting existantes se limitent à reproduire la cinématique, ignorant la richesse sensorielle associée au mouvement humain. Ce framework produit des streams proprioceptifs et tactiles synchronisés avec la vision, un type de donnée rare susceptible d'alimenter l'entraînement de modèles VLA (Vision-Language-Action) qui peinent encore à généraliser hors du domaine simulé. Sur le plan médical, la capacité à annoter automatiquement des comportements moteurs depuis une simple vidéo, puis à les comparer quantitativement à un avatar robot, ouvre une voie crédible pour la détection précoce de troubles du neurodéveloppement, autisme, paralysie cérébrale, sans recourir à une instrumentation directe de l'enfant. Le robot iCub, développé par l'IIT (Istituto Italiano di Tecnologia, Gênes) depuis 2004 et déployé dans plus de 30 laboratoires mondiaux, constitue la plateforme physique de référence de l'étude, sa morphologie proche d'un enfant de 3-4 ans en faisant un candidat naturel. La précision sub-centimétrique annoncée vaut pour les séquences les mieux alignées morphologiquement : les auteurs ne publient pas de métriques globales sur corpus complet, ce qui invite à une lecture prudente de la performance générale. Dans l'espace concurrent, des équipes comme Meta AI (SAPIENS) ou ETH Zurich (SMPL-X) travaillent sur la reconstruction posturale dense, mais sans l'orientation développementale ni la multimodalité sensorielle de cette approche. Le code est publié en open source sur GitHub sous le dépôt ctu-vras/motion-retargeting.

💬 Ce qui m'a accroché, c'est pas le robot qui rejoue les gestes d'un nourrisson, c'est la donnée synthétique que ça produit : proprio, toucher et vision synchronisés depuis une simple vidéo, c'est rare et c'est exactement ce dont les VLA ont besoin pour généraliser hors labo. L'application médicale (détection précoce de troubles moteurs sans coller des capteurs partout sur un bébé) est probablement le cas d'usage le plus sérieux à court terme. Reste à voir les métriques sur corpus complet, les auteurs ne les publient pas pour l'instant.

DAMP : locomotion humanoïde par apprentissage de croyance débruitée et a priori de mouvement adverses

Des chercheurs publient sur arXiv (2610.11505) DAMP, un cadre d'apprentissage par renforcement conçu pour la locomotion de robots humanoïdes sur terrains difficiles, sans aucune information perçue : ni caméra, ni lidar, ni carte de hauteur. Le système repose sur des réseaux de neurones récurrents qui exploitent les dépendances temporelles pour inférer de façon implicite l'information dite privilégiée (celle dont dispose le simulateur mais pas le robot réel) ainsi que d'autres variables latentes utiles à la tâche. Les représentations apprises sont alignées sur l'objectif de la tâche, ce qui doit produire une politique robuste et cohérente avec le but visé. Le titre indique aussi l'emploi de « denoised belief learning », c'est-à-dire un état de croyance débruité, et d'« adversarial motion priors », des a priori de mouvement adversariaux qui poussent la démarche vers un style naturel. L'ensemble est entraîné de bout en bout puis transféré de la simulation au monde réel. Les auteurs annoncent une démonstration sur robot physique, disponible en vidéo. Le résumé ne donne ni plateforme, ni chiffres de performance, ni description des terrains testés. L'intérêt tient à l'hypothèse de départ. Beaucoup de contrôleurs de marche humanoïde récents s'appuient sur la perception extéroceptive pour franchir marches, pentes et obstacles, ce qui ajoute des capteurs, de la latence et des modes de défaillance : occlusions, poussière, éclairage, calibration. Une politique aveugle, qui déduit le terrain de la seule proprioception et de l'historique des mouvements, offrirait une couche de repli fiable et moins coûteuse pour des machines destinées à des sites industriels ou logistiques. Elle illustre aussi une tendance de fond de la recherche : distiller dans une politique déployable le savoir du simulateur, un schéma enseignant-élève rendu plus propre par la mémoire récurrente. Il faut toutefois rester prudent. Il s'agit d'un préprint, sans évaluation indépendante, et une vidéo de démonstration ne renseigne ni sur le taux de réussite, ni sur la sévérité des terrains, ni sur la reproductibilité. La notion de « terrain complexe » n'est pas chiffrée dans le texte disponible. Ce travail s'inscrit dans une lignée bien établie. Les politiques de locomotion aveugles entraînées par RL et transférées de la simulation au réel se sont imposées sur les quadrupèdes, avec l'apprentissage de type enseignant-élève popularisé autour de l'ETH Zurich. Les adversarial motion priors, issus de l'animation de personnages, servent à obtenir des allures plus humaines sans réécrire à la main les fonctions de récompense. Côté humanoïdes, les acteurs industriels (Figure, Tesla avec Optimus, Agility Robotics, Unitree, Boston Dynamics) combinent de plus en plus RL en simulation et perception, tandis que des acteurs européens comme Wandercraft ou Enchanted Tools travaillent aussi sur la marche robuste. Reste à savoir si DAMP sera accompagné d'un code ouvert, de comparaisons chiffrées avec des méthodes de référence et de tests sur plusieurs morphologies, éléments qui permettront de juger sa portée réelle.