Aller au contenu principal
OTRetarget : retargeting conjoint du mouvement du robot et de l'objet par transport optimalIllustration générée par IA
RecherchearXiv cs.RO 

OTRetarget : retargeting conjoint du mouvement du robot et de l'objet par transport optimal

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient sur arXiv (2609.36602) OTRetarget, une méthode qui transfère des démonstrations humaines vers un humanoïde en retargetant conjointement le mouvement du robot et celui des objets manipulés. Elle représente les interactions de surface par trois quantités : distances signées, points les plus proches sur la surface et directions relatives. Un transport optimal entropique projette ces grandeurs entre les géométries de l'humain, du robot et des objets. Les cibles obtenues alimentent une cinématique inverse sous contraintes, qui arbitre à chaque frame entre préservation des contacts et style du mouvement, en optimisant simultanément les poses du robot et des objets. Sur le jeu de données OMOMO, les auteurs annoncent un score de Jaccard d'interaction robot-objet de 87 % et une erreur de profondeur de 8,7 mm, contre 28 % et 29,3 mm pour OmniRetarget. La validation physique porte sur un humanoïde Unitree G1, avec des politiques corps entier entraînées par apprentissage par renforcement sur les références retargetées. Les mouvements testés incluent la dépose à deux mains d'une boîte sur une table.

Le retargeting est un goulot d'étranglement peu visible de la chaîne qui va de la capture humaine aux politiques de loco-manipulation. Quand les proportions du robot diffèrent de celles de l'opérateur, les contacts avec le sol et les objets dérivent, et les politiques apprennent alors sur des références physiquement incohérentes. La plupart des approches figent la trajectoire de l'objet ou remettent à l'échelle la scène et la démonstration. OTRetarget laisse l'objet libre de s'adapter à la morphologie du robot, sans changer l'échelle de la scène. Le gain annoncé face à OmniRetarget est important, mais il vient d'un benchmark sur données de capture, avec une métrique de contact définie par les auteurs. Il ne dit pas encore quel taux de réussite on obtiendrait sur des tâches longues ou contraintes en cadence. La démonstration matérielle se limite à un G1 de petite taille et à des tâches simples. Aucun temps de cycle, aucune charge utile ni aucun taux d'échec n'est mentionné dans le résumé.

Ces travaux s'inscrivent dans la vague de pipelines « humain vers humanoïde » qui cherchent à produire des données d'entraînement à grande échelle sans téléopération coûteuse. OmniRetarget en est la référence directe, et OTRetarget se positionne explicitement contre lui. Le G1 est devenu la plateforme de recherche par défaut, car elle est abordable et largement répandue dans les laboratoires. Les VLA généralistes comme Pi-0, GR00T N2 ou Helix ont besoin de données cohérentes en contacts, ce qui donne à cette brique un intérêt direct. Les prochaines étapes à surveiller sont la diffusion du code, la validation sur des humanoïdes plus grands et sur des objets déformables ou articulés, ainsi qu'une évaluation sur des scènes multi-objets plus encombrées.

À lire aussi

HOC2R : trajectoires de contact main-objet pour le transfert de mouvement de l'humain au robot
Illustration générée par IA
1arXiv cs.RO 

HOC2R : trajectoires de contact main-objet pour le transfert de mouvement de l'humain au robot

HOC2R, un extracteur de trajectoires de contact main-objet publié sur arXiv, vise à transformer des vidéos humaines de manipulation en consignes de mouvement exploitables par un robot. Le système combine des features gelées de DINOv3 et de SAM 2.1 avec des têtes apprises pour l'association main-objet et la localisation des contacts. Il propose deux modes: une automatisation « count-aware », qui détecte, compte et localise les contacts visibles dans des vidéos non découpées, et un mode « fixed-two » pour pinces à deux doigts, utilisable lorsque les images de contact sont déjà connues. Sur un benchmark de 30 tâches annoté par points, le mode count-aware fait passer la précision du comptage de contacts de 58,1 % à 71,4 % et réduit la distance moyenne de localisation de 19,81 à 10,46 pixels, face à une base de référence VRB2 adaptée. Sur sept séquences RGB-D inédites, un checkpoint fixed-two entraîné sur cinq tâches ramène cette distance de 67,67 à 27,02 pixels. Côté robot, sur six séquences d'évaluation, le checkpoint fixed-two entraîné sur 30 tâches produit quatre trajectoires faisables et réussit trois tâches, contre deux trajectoires faisables et une réussite pour chacune des bases de référence. L'intérêt tient à l'un des verrous du secteur: les vidéos humaines regorgent de démonstrations de manipulation, mais elles ne fournissent pas directement de signal de mouvement qu'un robot peut suivre. Extraire automatiquement où et quand la main touche l'objet permet de produire des pseudo-étiquettes pour l'apprentissage par imitation ou pour des politiques VLA, sans téléopération coûteuse. Les auteurs indiquent que la méthode reste compétitive sur les scènes à une seule main, robuste à un changement de couleur de la main, et plus performante dans les scènes à plusieurs mains. Il faut toutefois relativiser: l'évaluation robotique porte sur seulement six séquences, avec trois réussites, ce qui reste un échantillon très réduit et sans intervalle de confiance. Le gain de 58,1 % à 71,4 % en comptage laisse aussi près de trois contacts sur dix mal dénombrés. Ce travail relève donc de la preuve de concept de recherche, loin d'un déploiement industriel. Le contexte est celui d'une course à l'exploitation de vidéos humaines à grande échelle pour contourner le goulot de la collecte de données robotiques, avec des approches comme VRB (Vision-Robotics Bridge), dont la variante VRB2 sert ici de référence après adaptation. Le choix de briques de fondation gelées, DINOv3 pour la représentation visuelle et SAM 2.1 pour la segmentation, reflète une tendance à réutiliser des modèles généralistes et à n'entraîner que de petites têtes spécialisées, ce qui limite le coût d'adaptation. Aucune entreprise, aucun calendrier de pilote ni aucun prix n'est mentionné: il s'agit d'une publication académique en version 1, non évaluée par des pairs. Les prochaines étapes probables seraient un élargissement du nombre de tâches robotiques, des tests sur des pinces et morphologies variées, et une intégration dans des pipelines d'entraînement de politiques de manipulation, où se jouera la vraie validité de l'approche.

RecherchePaper
1 source
PriMoRetarget : transfert de mouvement humanoïde par reciblage de mouvement priorisé
Illustration générée par IA
2arXiv cs.RO 

PriMoRetarget : transfert de mouvement humanoïde par reciblage de mouvement priorisé

PriMoRetarget est un cadre de retargeting de mouvement présenté sur arXiv (2610.12642) qui remplace la pondération relative des objectifs par une hiérarchie de priorités explicite. Le retargeting désigne l'étape de prétraitement qui transfère des données de mouvement humain (capture de mouvement) vers la morphologie d'un robot humanoïde. Dans la pratique, il est formulé comme un problème d'optimisation multi-objectifs pondérée, où il faut équilibrer des critères concurrents : fidélité de la pose, placement des pieds, contacts avec les objets ou avec d'autres personnages. Avec PriMoRetarget, les mises à jour de priorité inférieure sont contraintes de préserver les objectifs de priorité supérieure. Les caractéristiques critiques, comme la position des pieds et les contacts d'interaction, passent donc avant les objectifs de pose. La méthode est évaluée sur quatre jeux de données couvrant le mouvement d'un seul personnage, la manipulation d'objets et les interactions entre personnages. Les auteurs affirment que les mouvements obtenus préservent mieux les interactions utiles à la tâche et fournissent des trajectoires de référence que les contrôleurs suivent plus fiablement qu'avec les méthodes de retargeting couramment utilisées. Le résumé ne chiffre ni les gains ni le taux de suivi, et ne nomme pas les méthodes de référence. L'enjeu est très concret pour quiconque entraîne des politiques de suivi de mouvement pour humanoïdes. Les approches actuelles reposent sur de grandes bases de capture humaine retargetées puis suivies par apprentissage par renforcement en simulation. Des références mal retargetées (pieds qui glissent, mains qui ne touchent plus la caisse, contacts perdus entre deux personnages) produisent des trajectoires physiquement incohérentes que le contrôleur ne peut pas suivre. Le réglage manuel des poids, souvent propre à chaque séquence, est un coût caché des pipelines de données. Remplacer ce réglage par une hiérarchie stricte pourrait réduire le travail d'ingénierie et rendre les jeux de données plus reproductibles. Pour la manipulation et les interactions multi-agents, qui sont les cas où les humanoïdes doivent démontrer une valeur industrielle (portage, passage d'objets, collaboration), préserver les contacts est une condition nécessaire. Il faut toutefois rester prudent : il s'agit d'un preprint v1, non revu par les pairs, évalué en simulation, et le résumé ne donne aucune validation sur robot physique. Le contexte est celui d'une course aux données de mouvement pour les modèles de fondation humanoïdes. Les outils de retargeting dominants reposent sur la cinématique inverse pondérée ou sur l'optimisation de maillage, conçus d'abord pour des mouvements isolés. L'extension aux scènes avec objets et plusieurs acteurs a fait apparaître les limites de la pondération. L'optimisation hiérarchique, qui impose les priorités par contraintes, est une idée ancienne en robotique (commande par tâches prioritaires, projection dans l'espace nul) que ce travail applique à ce problème. Les prochaines étapes à surveiller sont la publication du code, la comparaison chiffrée avec les méthodes de référence et, surtout, des tests de transfert sur matériel réel.

RecherchePaper
1 source
Retargeting de mouvement à dense résolution temporelle pour robots à pattes
Illustration générée par IA
3arXiv cs.RO 

Retargeting de mouvement à dense résolution temporelle pour robots à pattes

Une équipe de chercheurs publie sur arXiv (v1, septembre 2026) une méthode baptisée DTMR (Dense Temporal Motion Retargeting) pour adapter à des robots à pattes des mouvements issus d'humains ou d'animaux. Le problème visé est l'écart morphologique entre la source et le robot : une réception de saut ou un temps de vol humain ne sont pas réalisables tels quels par une machine aux masses, couples et inerties différents. Les approches classiques corrigent soit la géométrie, soit le timing, soit les deux en séquence. DTMR optimise le timing et le contrôle dans un seul problème, et le terme « dense » signifie que le tempo est ajusté à chaque pas de contrôle. Le problème est résolu par un MPC (commande prédictive) à échantillonnage, exécuté en parallèle sur GPU. L'évaluation porte sur deux heures de mouvements humains retargetés sur quatre robots humanoïdes. Les auteurs affirment que DTMR surpasse les méthodes de référence, surtout sur les mouvements dynamiques. À budget de déformation temporelle égal, il retargete plus précisément qu'une base qui optimise aussi la dimension temporelle, avec un calcul environ 19 fois plus rapide. Des politiques entraînées sur ces références ont été transférées sur un humanoïde réel. L'intérêt tient à la place de cette étape dans la chaîne de production des comportements humanoïdes. Les politiques apprises par imitation ou par renforcement, qu'elles soient en simulation ou destinées au déploiement, dépendent de la qualité des trajectoires de référence. Si un saut est mal cadencé, la politique apprend soit à compenser par des artefacts, soit échoue. Ne déformer le temps que là où c'est nécessaire préserve le reste du mouvement, ce qui compte pour les gestes expressifs ou les tâches de loco-manipulation. Le gain d'un facteur 19 réduit le coût de préparation de grands corpus de mouvements, un goulot réel pour qui veut passer de quelques démos à des bibliothèques de compétences. Il faut toutefois rester prudent : le transfert réel n'est mentionné que sur un seul robot, sans taux de réussite ni précisions sur la nature des mouvements testés. Les comparaisons se font contre des baselines choisies par les auteurs, et la métrique de précision n'est pas détaillée dans le résumé. Il s'agit d'un résultat de recherche, pas d'un produit livré ni d'un déploiement. Ce travail s'inscrit dans une lignée qui va du retargeting cinématique par optimisation de pose aux pipelines de suivi de mouvement humain (type DeepMimic, puis les approches de tracking à grande échelle sur humanoïdes) et à l'essor du MPC par échantillonnage accéléré sur GPU. Il intéresse directement les acteurs qui entraînent des modèles généralistes à partir de données de mouvement humain, comme Figure, Tesla (Optimus), Unitree, Agility ou NVIDIA avec GR00T, ainsi que les laboratoires européens travaillant sur la locomotion, dont Wandercraft côté français. Les suites probables sont une diffusion du code et une validation sur davantage de plateformes et de mouvements à forte dynamique, comme les sauts, les roulades ou la course. Elles passeront aussi par l'intégration dans les pipelines d'entraînement de politiques complètes.

RecherchePaper
1 source
Robot IA : le shooting par contact retargete le mouvement dynamique sans lissage discontinu
Illustration générée par IA
4arXiv cs.RO 

Robot IA : le shooting par contact retargete le mouvement dynamique sans lissage discontinu

Publié sur arXiv le 5 août 2026 (référence 2608.03116), un article de recherche présente DSMS (Direct Simulation-based Multiple Shooting), une méthode qui corrige un défaut courant du retargeting de mouvement pour humanoïdes. Les techniques actuelles privilégient la ressemblance cinématique avec le mouvement humain source, au détriment de la dynamique corps entier et de la cohérence des contacts, produisant des références difficiles à reproduire en apprentissage par renforcement, surtout pour des comportements riches en contacts. DSMS intègre un simulateur différentiable dans un programme d'optimisation non linéaire, résolvant en interne contacts, friction, impacts, auto-collisions et limites articulaires, sans calendrier de contact imposé. Les auteurs démontrent un transfert sim-to-real zero-shot sur le Unitree G1 : un rampement pilotable riche en contacts et un saut-pivot dynamique à 180 degrés. Ce travail cible un point de friction central pour l'industrie humanoïde : l'écart entre démonstrations simulées et comportements fiables sur robot réel, frein majeur à une commercialisation crédible au-delà des vidéos promotionnelles. Les pipelines de motion imitation actuels, qu'ils reposent sur du RL ou des architectures VLA, héritent souvent de références physiquement irréalistes, ce qui allonge l'entraînement et fragilise les politiques face aux contacts imprévus. En rendant les références dynamiquement cohérentes en amont, DSMS accélérerait l'entraînement et améliorerait le taux de succès et la précision de suivi par rapport aux méthodes existantes, selon les auteurs. Le résumé ne fournit toutefois aucun chiffre comparatif précis, ce qui invite à la prudence sur l'ampleur réelle du gain avant validation indépendante. La publication s'inscrit dans l'effort de recherche intense sur le sim-to-real pour humanoïdes, qui mobilise aussi bien des laboratoires académiques que Nvidia avec GR00T, Figure avec Helix, ou les équipes internes d'Unitree et de Boston Dynamics. Le G1, plateforme largement utilisée en recherche pour son coût relativement accessible et ses capacités dynamiques, sert de banc d'essai standard pour ce type de démonstration. Publié en preprint, non encore validé par revue par les pairs, l'article ne mentionne ni partenariat industriel ni feuille de route commerciale : il s'agit d'une contribution méthodologique destinée à la communauté du contrôle robotique et du RL, dont l'impact réel dépendra de sa reproductibilité par d'autres équipes.

RecherchePaper
1 source