RecherchearXiv cs.RO 23 octobre 2026

Retargeting de mouvement avec préférences spatio-temporelles pour la loco-manipulation humanoïde

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs propose Spatiotemporal Retargeting (STR), une méthode de retargeting de mouvement humain vers robot humanoïde, publiée sur arXiv (2610.30540). Le retargeting convertit des démonstrations humaines en trajectoires de référence pour le contrôle du corps entier et la loco-manipulation. STR part d'un constat: les budgets d'itérations par image sont uniformes, alors que seuls certains instants exigent une précision élevée sur les relations corps-objet. Un modèle vision-langage (VLM) sélectionne les signaux de mouvement et les parties du corps pertinents. Les images clés sont détectées à partir des variations de ces signaux. Le solveur reçoit alors des itérations supplémentaires sur ces images clés, et les parties sélectionnées reçoivent des poids d'interaction plus élevés. Un module nommé Mechanics-Aware Contact Anchoring (MCA) affine les positions de contact sur la surface de l'objet grâce à un modèle approximatif de torseur d'efforts (wrench), en conservant les directions de surface retenues. Les auteurs y ajoutent Spatiotemporal Reinforcement Learning (STRL), qui combine un échantillonnage adaptatif des étapes clés et une récompense de contact fondée sur la proximité à la cible et sur les forces de contact. Les tests en simulation utilisent un Unitree G1, et les essais réels un Unitree R1.

L'intérêt tient à l'efficacité de calcul. Les pipelines de retargeting représentent souvent un coût caché dans la production de données pour humanoïdes, et concentrer l'effort là où la manipulation se joue (saisie, dépose, contact prolongé) est une piste pragmatique. Les auteurs annoncent une meilleure couverture et continuité des contacts à moindre coût, ainsi qu'un meilleur taux de réussite des tâches en aval. Cela va dans le sens d'un contrôle qui exploite des références de meilleure qualité plutôt que de simples trajectoires cinématiquement plausibles. Il faut toutefois rester prudent. Le résumé ne donne ni gain chiffré, ni nombre de tâches, ni durée des essais réels. Il ne précise pas non plus la dépendance au VLM, dont les choix de signaux et de parties du corps pourraient varier d'une requête à l'autre. Les essais sur R1 restent un résultat de laboratoire, sans lien avec un déploiement industriel.

Ce travail s'inscrit dans la lignée des méthodes de retargeting par optimisation et des politiques de suivi de mouvement par apprentissage par renforcement, devenues courantes sur les plateformes Unitree à bas coût, très répandues dans la recherche. Il rejoint la tendance qui consiste à utiliser des modèles de fondation pour guider les étapes de la chaîne de données, et pas seulement l'exécution. Les acteurs industriels comme Figure, Tesla ou Agility mènent des efforts comparables, mais en grande partie fermés. Il n'est donc pas possible de comparer directement leurs résultats à cette approche. La suite logique serait une validation sur des objets plus variés, avec des comparaisons chiffrées face aux méthodes de retargeting existantes, puis une démonstration sur des tâches longues, avant tout transfert vers des usages en entrepôt ou en usine.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Unitree arXiv cs.RO

À lire aussi

1arXiv cs.RO

Retargeting de mouvement à dense résolution temporelle pour robots à pattes

Une équipe de chercheurs publie sur arXiv (v1, septembre 2026) une méthode baptisée DTMR (Dense Temporal Motion Retargeting) pour adapter à des robots à pattes des mouvements issus d'humains ou d'animaux. Le problème visé est l'écart morphologique entre la source et le robot : une réception de saut ou un temps de vol humain ne sont pas réalisables tels quels par une machine aux masses, couples et inerties différents. Les approches classiques corrigent soit la géométrie, soit le timing, soit les deux en séquence. DTMR optimise le timing et le contrôle dans un seul problème, et le terme « dense » signifie que le tempo est ajusté à chaque pas de contrôle. Le problème est résolu par un MPC (commande prédictive) à échantillonnage, exécuté en parallèle sur GPU. L'évaluation porte sur deux heures de mouvements humains retargetés sur quatre robots humanoïdes. Les auteurs affirment que DTMR surpasse les méthodes de référence, surtout sur les mouvements dynamiques. À budget de déformation temporelle égal, il retargete plus précisément qu'une base qui optimise aussi la dimension temporelle, avec un calcul environ 19 fois plus rapide. Des politiques entraînées sur ces références ont été transférées sur un humanoïde réel. L'intérêt tient à la place de cette étape dans la chaîne de production des comportements humanoïdes. Les politiques apprises par imitation ou par renforcement, qu'elles soient en simulation ou destinées au déploiement, dépendent de la qualité des trajectoires de référence. Si un saut est mal cadencé, la politique apprend soit à compenser par des artefacts, soit échoue. Ne déformer le temps que là où c'est nécessaire préserve le reste du mouvement, ce qui compte pour les gestes expressifs ou les tâches de loco-manipulation. Le gain d'un facteur 19 réduit le coût de préparation de grands corpus de mouvements, un goulot réel pour qui veut passer de quelques démos à des bibliothèques de compétences. Il faut toutefois rester prudent : le transfert réel n'est mentionné que sur un seul robot, sans taux de réussite ni précisions sur la nature des mouvements testés. Les comparaisons se font contre des baselines choisies par les auteurs, et la métrique de précision n'est pas détaillée dans le résumé. Il s'agit d'un résultat de recherche, pas d'un produit livré ni d'un déploiement. Ce travail s'inscrit dans une lignée qui va du retargeting cinématique par optimisation de pose aux pipelines de suivi de mouvement humain (type DeepMimic, puis les approches de tracking à grande échelle sur humanoïdes) et à l'essor du MPC par échantillonnage accéléré sur GPU. Il intéresse directement les acteurs qui entraînent des modèles généralistes à partir de données de mouvement humain, comme Figure, Tesla (Optimus), Unitree, Agility ou NVIDIA avec GR00T, ainsi que les laboratoires européens travaillant sur la locomotion, dont Wandercraft côté français. Les suites probables sont une diffusion du code et une validation sur davantage de plateformes et de mouvements à forte dynamique, comme les sauts, les roulades ou la course. Elles passeront aussi par l'intégration dans les pipelines d'entraînement de politiques complètes.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

MotionDisco : découverte de mouvements pour la loco-manipulation extrême des robots humanoïdes

Des chercheurs ont publié sur arXiv (réf. 2606.06139, juin 2026) MotionDisco, un cadre méthodologique capable de générer automatiquement des séquences de mouvements corps entier pour robots humanoïdes, sans recourir à la téleopération ni au retargeting de mouvements humains. Le système couple une recherche évolutionnaire guidée par un grand modèle de langage (LLM) sur des séquences d'interactions de contact, un optimiseur de trajectoire cinodynamique séquentiel et une stratégie d'élagage. Les trajectoires ainsi découvertes servent à entraîner des politiques de suivi par apprentissage par renforcement (RL), déployées ensuite sur un robot humanoïde physique dans des tâches de loco-manipulation longue durée. Des études d'ablation documentent que la recherche guidée par LLM produit des trajectoires corps entier cohérentes sur plusieurs tâches à long horizon impliquant des contacts riches avec l'environnement. L'enjeu principal est de contourner la téleopération, aujourd'hui le principal mode d'acquisition de données pour les humanoïdes en manipulation, approche coûteuse et difficile à passer à l'échelle. La difficulté est fondamentalement combinatoire: le nombre d'interactions de contact possibles croît exponentiellement avec l'horizon temporel et le nombre d'objets en scène. En automatisant la découverte de compétences, MotionDisco ouvre une voie potentiellement scalable pour les intégrateurs industriels sans infrastructure de téleopération. Le transfert sim-to-real sur robot physique est démontré, ce qui distingue ce travail de nombreuses contributions demeurant en simulation. Les auteurs revendiquent une première mondiale: la découverte et le déploiement de compétences humanoïdes loco-manipulation longue durée par recherche évolutionnaire entièrement automatisée, une affirmation qui reste à valider indépendamment par la communauté. Ce travail s'inscrit dans un paysage où les principaux acteurs humanoïdes, tels que Figure (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (pi0), Unitree et NVIDIA (GR00T N2), misent massivement sur la téleopération et les démonstrations humaines pour entraîner leurs politiques de manipulation. L'utilisation d'un LLM comme moteur de recherche pour guider l'exploration de contacts s'apparente aux travaux récents sur les VLA (Vision-Language-Action models), mais positionnée en amont comme générateur de curriculum plutôt que comme politique de contrôle direct. Aucun partenaire industriel ni calendrier de déploiement n'est mentionné dans l'article, qui demeure une contribution de recherche fondamentale sans affiliation ou plateforme matérielle spécifiée. Les extensions naturelles porteraient sur des scènes multi-objets plus complexes et la validation sur une gamme élargie de plateformes humanoïdes commerciales.

RecherchePaper

1 source

3arXiv cs.RO

Tac4Loco : représentations spatiotemporelles de pression plantaire pour la locomotion des robots humanoïdes

Des chercheurs présentent Tac4Loco, un framework d'apprentissage intégrant la pression plantaire multi-capteurs comme retour direct pour la locomotion des robots humanoïdes, décrit dans un article publie sur arXiv (référence 2608.15766v1). Le système repose sur une représentation ordinale préservant la topologie spatiale de la pression sous le pied, capable de faire correspondre les signaux simules et les signaux physiques dans un même espace d'observation. Un encodeur a deux branches extrait séparément les caractéristiques spatiales et temporelles de ces signaux tactiles, qui sont ensuite combinées a une proprioception augmentée incluant des indices d'estimation du terrain, avant d'être transmises a une architecture actor-critic asymétrique pour l'apprentissage de la politique de marche. Les expériences, menées a la fois en simulation et sur robot réel, portent sur des terrains inclines, a appui partiel, asymétrique ou changeant, et le système est également teste en zero-shot sur des surfaces non structurées et compliantes inédites, notamment une plateforme en mousse et une route de gravier. Les auteurs annoncent la publication en open source du code et des configurations expérimentales, sans préciser de calendrier. Ce travail cible un angle mort connu des politiques de locomotion actuelles: la plupart des humanoïdes s'appuient soit sur la seule proprioception, qui ne donne qu'une preuve indirecte de l'appui réel au sol, soit sur une perception extéroceptive du terrain qui anticipe le contact avant la pose du pied mais ne peut pas observer en temps réel l'appui effectivement réalisé. Les rares travaux intégrant des capteurs de pression plantaire se contentaient jusqu'ici de statistiques résumées comme la force totale ou le centre de pression, en ignorant la topologie spatiale complète du signal, pourtant plus informative sur l'état de contact réel. Pour un intégrateur ou un ingénieur robotique, l'enjeu est concret: la robustesse sur terrain non prépare reste l'un des principaux freins au déploiement des humanoïdes hors des environnements d'usine contrôles, et une meilleure exploitation du retour tactile plantaire pourrait réduire les chutes et les échecs d'équilibre sans dépendre uniquement de la vision du terrain. Le papier s'inscrit dans une tendance plus large de la recherche en locomotion humanoïde, ou l'apprentissage par renforcement en simulation domine l'écriture des contrôleurs de marche, le transfert sim-to-real restant le principal goulot d'étranglement, en particulier pour des capteurs tactiles dont le comportement physique est difficile a modéliser fidèlement en simulation. C'est précisément ce que vise la représentation ordinale proposée par les auteurs, censée réduire l'écart entre signaux simules et signaux de capteurs réels. L'article ne précise ni la plateforme robotique utilisée pour les essais, ni l'affiliation institutionnelle des auteurs au-delà de la référence arXiv, et reste a ce stade une contribution de recherche plutôt qu'un produit déployé chez un client. Les prochaines étapes annoncées se limitent a la publication du code source, sans mention de partenariat industriel ou de pilote sur site.

RecherchePaper

1 source

4arXiv cs.RO

TRACE : édition conversationnelle typée et fondée sur des références pour la diffusion de mouvements humanoïdes

TRACE est un cadre de génération et d'édition de mouvements pour le robot humanoïde Unitree G1, présenté dans un preprint arXiv (2610.21515v1) qui n'a pas encore été relu par des pairs. Le système permet de créer puis de corriger des mouvements par le langage naturel. Un modèle de langage prédit d'abord des événements cinématiques mesurables (appuis au sol, trajectoire de la racine du corps, événements des mains), appris à partir des mouvements d'entraînement eux-mêmes. Ces événements, encodés dans le temps, viennent compléter le texte d'origine dans un générateur par diffusion. Des états référencés à la gravité et des objectifs couplant trajectoire et contacts améliorent la cohérence cinématique. Pour l'édition, une requête typée définit une portée corps-temps et des objectifs exprimés relativement au mouvement source. Un éditeur à diffusion distinct, conditionné par la référence, applique ces objectifs et les événements révisés, tandis qu'une projection au moment de l'échantillonnage protège les coordonnées d'état à conserver. L'intérêt tient au point d'achoppement actuel de la programmation de gestes humanoïdes par le langage : une demande comme « lève la main plus haut » reste vague, et chaque régénération complète risque de détruire ce qui était déjà validé. En ancrant génération et révision dans des grandeurs typées et vérifiables, TRACE vise des corrections successives plus fiables, avec des contraintes de préservation partagées. Pour un intégrateur, c'est une piste vers des interfaces où un opérateur affine une séquence sans repartir de zéro. Les auteurs annoncent de meilleurs résultats en alignement sémantique et en qualité de mouvement que les méthodes comparées, selon des mesures quantitatives et une évaluation humaine, ainsi que des ablations favorables au conditionnement ancré dans le mouvement. Le résumé ne chiffre toutefois aucun gain, ne précise ni les baselines ni la taille du jury, et ne mentionne aucun test sur robot physique : les résultats relèvent à ce stade de la génération cinématique, pas d'un déploiement. Ce travail s'inscrit dans la vague de modèles de mouvement par diffusion conditionnés par le texte, d'abord développés pour des avatars humains, puis adaptés aux humanoïdes. Le G1 d'Unitree est devenu une plateforme de recherche courante grâce à son prix relativement bas. Le passage d'un mouvement généré à une exécution robuste exige encore une politique de suivi, en général apprise par renforcement, et c'est là que se joue l'écart entre démonstration et usage réel. TRACE se situe en amont de cette chaîne, face à des approches de commande de corps entier et de modèles vision-langage-action. Les prochaines étapes logiques seraient la publication du code et des données, des comparaisons chiffrées détaillées et une validation sur matériel.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source