RecherchearXiv cs.RO 26 octobre 2026

CoCarry : retargeting structuré par les supports de contact pour le portage coopératif entre deux humanoïdes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

CoCarry, un travail déposé sur arXiv (2610.32460), propose à la fois un jeu de données et une méthode de retargeting pour le portage coopératif d'objets par deux humanoïdes. Le dataset réunit 220 séquences synchronisées de deux personnes, couvrant 21 schémas de tâches, cinq géométries d'objets partagés et quatre types de terrain, pour environ 61 minutes de mouvement. La méthode, baptisée Contact-Support-Structured Retargeting, part de mouvements individuels nominaux puis affine conjointement les deux humanoïdes autour d'une même trajectoire d'objet imposée. Des ancres de mains exprimées dans le repère de l'objet préservent la compatibilité d'une prise à quatre mains, tandis que des structures complémentaires, haute pour l'interaction avec l'objet et basse pour l'appui, conservent la géométrie relative à l'objet et la coordination du support. Sur les 220 séquences retargetées vers deux humanoïdes A3, la préservation des contacts atteint 0,9995, la durée de pénétration baisse de 67,0 % par rapport à GMR et de 71,0 % par rapport à OmniRetarget, et le taux de réussite du retargeting reste de 100 %. Sur CORE4D avec des Unitree G1, la préservation des contacts s'élève à 0,9906, sans glissement mesuré. Les références générées sont validées en simulation physique et lors de plusieurs essais réels sur deux A3.

L'intérêt tient à ce que le portage à deux est un point dur de la manipulation humanoïde. Les progrès récents sur de grandes bases de mouvements humains, le retargeting et l'imitation de mouvement ont surtout servi à contrôler un robot isolé. Or, à deux, il faut aussi garantir la cohérence entre agents et entre chaque agent et l'objet : prise partagée, configuration relative, appui du corps entier. Ces contraintes expliquent pourquoi un retargeting appliqué indépendamment à chaque robot produit des pénétrations ou des contacts perdus. Pour les intégrateurs qui visent la manutention de charges encombrantes (caisses, panneaux, mobilier), disposer de références cinématiquement cohérentes est un préalable à l'entraînement de politiques de contrôle. Il faut toutefois relativiser : les métriques portent sur la qualité des références, pas sur la robustesse d'un contrôleur. Le texte ne donne ni charge utile, ni temps de cycle, ni taux de réussite des essais physiques, et le nombre de démonstrations réelles reste vague. Il s'agit donc d'une preuve de faisabilité de recherche, pas d'un déploiement.

Ce travail s'inscrit dans la lignée des outils de retargeting comme GMR et OmniRetarget, qui servent ici de références de comparaison, et du jeu CORE4D, dédié à la collaboration humain-objet. Il vise à combler l'absence de données et de méthodes spécifiquement conçues pour le multi-agent. La suite logique est l'apprentissage de contrôleurs coopératifs entraînés sur ces références, avec des tests sur des charges et des environnements plus variés. Le plus gros reste à prouver : le transfert vers un contrôle robuste en conditions réelles, sans cadre de laboratoire.

Dans nos dossiers

Unitree arXiv cs.RO

À lire aussi

1arXiv cs.RO

VICAR : imitation vidéo avec retargeting sensible aux contacts pour les compétences interactives des humanoïdes

VICAR, présenté sur arXiv (2610.13079), est un pipeline qui apprend des compétences interactives à un humanoïde à partir de simples vidéos d'humains filmés à la troisième personne, sans ingénierie de récompense propre à chaque tâche, sans téléopération ni démonstrations scriptées à la main. Le système reconstruit d'abord le mouvement humain et les obstacles pertinents de la scène à partir d'une vidéo monoculaire, puis retargete ce mouvement vers le robot en préservant les poses de contact dans le repère monde, la vitesse du geste et les marges de collision. Les mouvements obtenus entraînent un générateur de mouvement conditionné par les contacts, dont les entrées incluent des points de contact mobiles. Les auteurs l'ont testé sur dix compétences : six services de tennis de table, trois tâches de ramassage d'objets et une montée d'échelle, avec un déploiement sur matériel réel. Le résumé ne donne ni plateforme humanoïde, ni taux de réussite, ni temps de cycle, et ce sont des points à vérifier dans l'article complet. L'intérêt tient à un verrou précis de l'imitation depuis la vidéo. Les systèmes récents savent déjà extraire des mouvements, des trajectoires d'objets et des contacts bruités de vidéos non structurées, mais la tâche y est souvent définie par des contacts ancrés dans le monde (la main sur un barreau, la raquette sur la balle) dont la position, le timing et la vitesse doivent survivre à la différence de morphologie entre humain et robot. Les méthodes classiques de retargeting se contentent de supprimer les pénétrations ou de conserver la géométrie locale d'interaction. VICAR traite les contacts et le dégagement de collision comme des termes de pénalité lagrangiens prioritaires, tout en gardant la trajectoire globale fluide. Si les résultats tiennent, cela réduit le coût de collecte de données pour des tâches de loco-manipulation, face à la téléopération, qui reste le goulot d'étranglement des acteurs industriels. Il faut cependant rester prudent : dix compétences, dont six sont des variantes d'une même tâche, constituent un échantillon étroit, et une preuve de concept académique ne dit rien de la robustesse en production. Ce travail s'inscrit dans la vague de recherche qui cherche à transformer la vidéo humaine, abondante et peu chère, en compétences humanoïdes déployables, en alternative aux pipelines de suivi de mouvement par apprentissage par renforcement en simulation et à la téléopération massive pratiquée par les acteurs commerciaux de l'humanoïde. Le point nouveau revendiqué est l'adaptation à l'exécution: le générateur accepte de nouvelles positions de contact, ce qui évite de réentraîner à chaque déplacement d'objet. Il s'agit d'une publication de recherche (v1, non évaluée par les pairs), sans produit ni pilote industriel annoncé. La suite logique serait une validation sur davantage de tâches et de morphologies, avec des mesures de fiabilité publiées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Retargeting de contacts guidé par VLM et modélisation générative du partenaire pour l'interaction humanoïde-humain

Des chercheurs présentent REACT, un framework d'apprentissage de politiques d'interaction humanoïde-humain à partir de démonstrations humain-humain, publié sur arXiv (2610.28523). Le système a été évalué en simulation et sur un robot réel Unitree G1, sur cinq interactions riches en contacts physiques. La chaîne de traitement comporte trois étapes. Un VLM (modèle vision-langage) identifie d'abord les contacts sémantiquement pertinents dans les données de capture de mouvement, puis les retransfère sur la géométrie humanoïde-humain en préservant la structure de l'interaction. Des politiques « privilégiées », qui accèdent à l'état complet du partenaire, apprennent ensuite des comportements physiquement cohérents grâce à des récompenses de contact sensibles à l'interaction. Elles sont enfin distillées en politiques déployables fondées sur la profondeur égocentrique, entraînées uniquement avec les capteurs embarqués grâce à un rendu photoréaliste de profondeur humaine. Des objectifs de modélisation générative de l'état du partenaire prédisent son mouvement à partir de vues occultées. Selon les auteurs, la modélisation sémantique des contacts améliore nettement la préservation des interactions démontrées, et la modélisation générative améliore le rappel de contact sur quatre interactions sur cinq, surtout en cas de forte occultation. Sur le matériel réel, les cinq interactions sont exécutées avec les seuls capteurs embarqués. L'enjeu porte sur un verrou central de l'interaction physique : au contact rapproché, le partenaire humain est occulté, tronqué ou hors du champ de vision, ce qui fait échouer l'estimation de pose. Beaucoup de démonstrations reposent donc sur un suivi externe (capture de mouvement, caméras fixes) ou sur l'état humain privilégié, des dispositifs inutilisables hors laboratoire. Une politique qui fonctionne sans eux rapproche l'humanoïde de cas d'usage réalistes : assistance, soins, collaboration en atelier. Le travail traite aussi un problème de données souvent négligé, les erreurs de capture dues aux occultations mutuelles entre humains. Il faut toutefois rester prudent. Il s'agit d'un préprint non évalué par les pairs, sur un seul robot, avec seulement cinq interactions. Le résumé ne donne ni taux de réussite chiffrés, ni durées d'essai, ni mesure de robustesse face à des morphologies ou comportements humains variés. L'écart entre démonstration en laboratoire et déploiement fiable reste donc entier. Le contexte est celui d'une course où l'humanoïde Unitree G1, relativement abordable, sert de plateforme de recherche standard. Les approches dominantes d'apprentissage de politiques de corps entier se concentrent surtout sur la locomotion et la manipulation, l'interaction humain-robot restant plus rare, car plus risquée et plus difficile à simuler. REACT s'inscrit dans la tendance à utiliser des modèles de fondation (ici un VLM) comme source de supervision sémantique, plutôt que de simples heuristiques géométriques. Les prochaines étapes naturelles seraient des tests sur d'autres plateformes, davantage d'interactions et des évaluations avec des participants variés, ainsi que des garanties de sécurité en contact. Aucun partenaire industriel, calendrier de pilote ni déploiement commercial n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

SMR : apprentissage du retargeting de mouvement en flux continu pour humanoïdes à partir de la sémantique humaine

Des chercheurs proposent SMR, un système de retargeting de mouvement en flux continu qui convertit les gestes humains en références exécutables par un humanoïde. L'approche repose sur des « experts physiques » qui suivent, en simulation, des cibles dérivées du mouvement humain: positions, orientations et vitesses de repères corporels, exprimées dans l'espace des tâches du robot. Ces experts doivent respecter les contacts, la dynamique et les limites des actionneurs. Seules les trajectoires réellement exécutées qui mènent le mouvement à son terme et passent des contrôles de validité sémantique et physique sont conservées. Elles servent ensuite à entraîner un unique Transformer strictement causal. À chaque image reçue, ce modèle n'utilise que les observations humaines courantes et passées pour produire une référence de mouvement, transmise à un contrôleur de corps entier en aval. L'étude, publiée sur arXiv (v1), ne fournit dans son résumé ni nombre de degrés de liberté, ni robot cible, ni latence chiffrée, ni résultat sur matériel réel. L'enjeu tient à deux limites des pipelines actuels. Les méthodes cinématiques font de la correspondance géométrique sans savoir si la trajectoire est exécutable par le robot. Les méthodes neuronales supervisées par la physique, elles, s'entraînent sur des trajectoires cinématiques raffinées, restent donc liées à ces solutions de départ, et exigent des modèles bidirectionnels sur séquences complètes, incompatibles avec le temps réel. En supprimant ce besoin de contexte futur, SMR vise la téléopération et l'imitation en direct, où le robot doit réagir sans attendre la fin du geste. Les auteurs affirment que les experts conditionnés par la sémantique produisent des mouvements plus fidèles et plus physiquement valides que l'optimisation directe, et que le retargeter obtient de meilleurs résultats en boucle fermée que les références cinématiques et physiquement raffinées, avec un même contrôleur de corps entier. Ces gains restent à vérifier: le résumé ne donne aucun chiffre, et un résultat obtenu en simulation ne garantit pas le transfert sim-to-real. Ce travail s'inscrit dans la vague de contrôle de corps entier pour humanoïdes alimentée par la capture de mouvement humain, où le retargeting sert de brique entre données humaines et politiques robotiques. La chaîne classique de cinématique inverse suivie d'un raffinement physique y est devenue un goulot d'étranglement, en coût de calcul comme en latence. SMR rejoint les approches qui distillent des experts de simulation vers un modèle léger, déployable en ligne. Il faudra attendre le texte complet, le code et d'éventuelles validations sur robot réel pour mesurer l'apport face aux baselines établies.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

C2Dex : reconstruction et retargeting cohérents avec le contact pour la manipulation dextérique à partir de vidéo monoculaire

Des chercheurs publient sur arXiv (arXiv:2608.07045v1) un article intitulé C2Dex, un framework qui transfère des démonstrations de manipulation extraites de simples vidéos monoculaires de mains humaines vers des robots à mains dextres. Le système repose sur une représentation partagée de contacts stables côté objet, reconstruits en agrégeant des observations bruitées image par image dans un espace canonique de l'objet. Ces contacts servent à la fois de contraintes de trajectoire pour stabiliser la reconstruction 3D de l'interaction main-objet humaine, et de cibles explicites pour le transfert vers la main robotique, via une optimisation laplacienne de l'interaction qui préserve la géométrie locale du contact malgré le changement de morphologie, puis un raffinement par apprentissage par renforcement résiduel en simulation. Sur les benchmarks DexYCB et TACO, C2Dex atteint des taux de réussite de trajectoire de bout en bout de 57,78% et 26,67% respectivement, contre 17,78% et 10% pour les meilleures méthodes de référence testées dans les mêmes conditions. Des essais de rejeu sur robot réel confirment la faisabilité physique des trajectoires générées sur des tâches de manipulation riches en contacts. Cette avancée s'attaque à un goulot d'étranglement central de la manipulation dextre : la collecte de démonstrations de qualité via téléopération ou capture de mouvement reste coûteuse et lente, alors que les vidéos humaines existent en abondance et à bas coût. Réussir à extraire de ces vidéos des trajectoires physiquement plausibles et transférables à des mains robotiques de morphologies différentes est jugé nécessaire pour entraîner à grande échelle des politiques de manipulation, dans la même logique que les modèles vision-langage-action utilisés par l'industrie humanoïde. Le gain observé face aux méthodes concurrentes, avec des taux de réussite multipliés par trois sur les deux jeux de données, suggère que l'instabilité des contacts reconstruits depuis la vidéo, jusqu'ici un frein majeur, peut être significativement atténuée. Les taux de réussite absolus restent toutefois modestes, en particulier sur TACO (26,67%), ce qui signale que le transfert vidéo vers robot dextre reste loin d'être résolu pour des tâches complexes. C2Dex s'inscrit dans un axe de recherche actif visant à exploiter les vidéos humaines comme source de données pour l'apprentissage par imitation en robotique, en complément ou substitut des démonstrations téléopérées. L'article, classé comme nouvelle soumission sur arXiv, n'a pas encore fait l'objet d'une publication évaluée par les pairs et ne décrit ni déploiement industriel ni intégration produit : il s'agit d'un travail de recherche comparé à des méthodes existantes de reconstruction d'interaction main-objet et de retargeting, jugées moins performantes dans les mêmes conditions d'évaluation. Une page projet dédiée met à disposition davantage de détails techniques et, potentiellement, des démonstrations vidéo. Les auteurs ne précisent pas de calendrier de suite des travaux, mais la démonstration sur robot réel laisse entrevoir une prochaine étape naturelle vers des évaluations en conditions moins contrôlées et sur un éventail plus large de tâches et de morphologies de mains robotiques.

RecherchePaper

1 source