RecherchearXiv cs.RO 28 octobre 2026

Transfert d'incarnation mimétique de l'interaction humain-humanoïde à partir de vidéos en conditions réelles

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent HumiTransfer, un cadre logiciel qui convertit des vidéos « sauvages » d'interactions entre deux humains (câlins, danse, poignées de main) en interactions physiquement plausibles entre un humain et un robot humanoïde. Le pipeline reconstruit d'abord le mouvement 3D humain en imposant une cohérence des contacts pied-sol. Il transfère ensuite l'un des deux participants vers le robot cible grâce à une modélisation de l'interaction, qui pondère les directions relatives entre articulations et les décalages anatomiques afin de préserver les relations inter-corps essentielles. Une optimisation post-retargeting impose enfin équilibre, contact et évitement des collisions. Appliqué à 1 200 vidéos, ce processus a produit environ 500 000 frames d'interactions, réunies dans le jeu de données HumiMimic, pour deux plateformes: l'Unitree R1 Edu (26 DOF) et le HighTorque Mini-hi (23 DOF). Les auteurs affirment une meilleure fidélité de mouvement, une meilleure préservation des relations entre corps et une plus grande précision des contacts que les méthodes de référence. Ils montrent aussi que HumiMimic permet d'entraîner des modèles de génération de mouvements où le robot réagit à un partenaire humain, et valident l'exécutabilité physique sur des robots réels.

L'enjeu dépasse le simple retargeting. La plupart des travaux sur les humanoïdes visent la locomotion ou la manipulation en solo, tandis que l'interaction physique rapprochée avec une personne reste un domaine où les données manquent. La télé-opération est coûteuse à grande échelle et la simulation reproduit mal le contact avec un humain. Exploiter des vidéos existantes comme source de démonstrations réduit nettement ce goulot d'étranglement. Le fait que la méthode s'applique à deux morphologies distinctes est un signal utile pour les intégrateurs: une même base de données peut alimenter plusieurs plateformes. Il faut toutefois rester prudent. Il s'agit d'un preprint (arXiv) dont les comparaisons sont réalisées par les auteurs, et la taille du jeu de données (environ 500 000 frames, soit quelques heures de mouvement) reste modeste face aux corpus utilisés pour les modèles vision-langage-action. Les résultats sur robots réels attestent la faisabilité du mouvement, pas une interaction robuste et sûre autour d'une personne, ni des performances en conditions industrielles ou de service.

Ce travail s'inscrit dans la lignée des méthodes de retargeting et d'imitation de mouvements humains pour humanoïdes, qui ont gagné en maturité avec la baisse du prix de plateformes comme celles d'Unitree ou de HighTorque, devenues des standards académiques. Il complète les modèles de fondation pour humanoïdes développés par des acteurs comme NVIDIA (GR00T), Figure (Helix) ou Physical Intelligence (Pi-0), qui se concentrent surtout sur la manipulation. L'étape suivante logique est de mesurer la réactivité en boucle fermée à un partenaire réel, avec des garanties de sécurité, avant d'envisager des usages d'accompagnement, de santé ou de divertissement. Aucun calendrier de déploiement commercial n'est annoncé.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Unitree IA physique & VLA NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

DexCast : apprendre le contrôle dextérique en conditions réelles à partir de vidéos humaines

DexCast est un framework de recherche, publié sur arXiv (identifiant 2610.14691, version 2 révisée), qui apprend le contrôle de mains robotiques dextres directement à partir de vidéos monoculaires RGB-D d'humains, sans aucune téléopération. Le système s'appuie sur des reconstructions conjointes main-objet (HOI, pour hand-object interaction) en 3D, dont il extrait les trajectoires à reproduire. Pour traiter la difficulté de modéliser un mouvement de main à très haut nombre de degrés de liberté et d'en exploiter le contexte temporel, les auteurs proposent un module de perception du mouvement de la main, le DexHand Motion Perception Module (DMPM). Celui-ci encode la coordination entre articulations et les dépendances temporelles dans des représentations latentes compactes, qui conditionnent ensuite une politique de diffusion générant les actions futures. Les auteurs affirment des performances « exceptionnelles » sur diverses tâches de manipulation dextre testées en conditions réelles. Le résumé ne donne ni taux de réussite, ni nombre de tâches, ni modèle de main, ni comparaison chiffrée avec des méthodes existantes. L'enjeu est le coût de la donnée. Les approches d'imitation dextre dominantes reposent sur des démonstrations téléopérées, lentes à collecter, coûteuses en main-d'œuvre et peu transférables d'un robot à l'autre. Si l'on peut obtenir une politique exploitable à partir de simples vidéos humaines, le goulot d'étranglement se déplace de la collecte robotique vers la perception 3D, un terrain où les progrès sont rapides. Pour un intégrateur ou un industriel, l'attrait est évident : filmer un opérateur qualifié avec une caméra RGB-D serait bien moins cher que d'immobiliser un robot et un téléopérateur. Il faut toutefois rester prudent. Il s'agit d'un travail académique, sans déploiement ni produit, et le résumé ne dit rien de la robustesse hors du cadre de l'expérience, de la généralisation à de nouveaux objets, ni de l'écart entre morphologie humaine et main robotique. La qualité de la politique dépend aussi directement de la précision de la reconstruction HOI, notamment en cas d'occultation. DexCast s'inscrit dans un mouvement plus large qui cherche à apprendre la manipulation à partir de vidéos humaines pour réduire la dépendance à la téléopération. Parmi les approches voisines figurent les gants et dispositifs de capture portés, ainsi que les grands modèles vision-langage-action (VLA) entraînés sur des corpus mixtes, que développent des acteurs comme Physical Intelligence, NVIDIA ou Figure. La politique de diffusion, devenue un standard de l'apprentissage par imitation, est ici combinée à un encodeur spécialisé de la main. La suite logique serait la publication de benchmarks chiffrés, de code et de comparaisons avec les méthodes téléopérées, éléments indispensables pour juger de la portée réelle de l'approche. Aucun calendrier de pilote ou de commercialisation n'est annoncé.

RecherchePaper

1 source

2arXiv cs.RO

HumanX : des compétences d'interaction humanoïdes agiles et généralisables, apprises à partir de vidéos humaines

Des chercheurs présentent HumanX, un cadre unifié qui convertit de simples vidéos monoculaires de humains en compétences d'interaction pour robots humanoïdes, sans conception spécifique à chaque tâche. Le système repose sur deux briques co-conçues. XGen, un pipeline de génération de données centré sur des « ancres », produit à partir d'une vidéo des données d'interaction physiquement plausibles pour le robot, puis les augmente pour constituer un jeu d'entraînement varié. XMimic, un cadre d'apprentissage qui donne la priorité à l'interaction avec l'objet ou le partenaire, en tire des compétences généralisables à partir de quelques secondes de démonstration. L'évaluation couvre cinq domaines (basket, football, badminton, ramassage de colis et combat réactif), soit 9 compétences distinctes, transférées en zero-shot sur un Unitree G1 réel. Parmi les résultats cités figurent un tir en fadeaway après feinte et demi-tour, réalisé sans aucune perception externe, ainsi que des échanges de passes soutenus avec un humain sur plus de 10 cycles consécutifs, appris à partir d'une seule vidéo. L'intérêt tient à la contrainte que ce travail cherche à lever. L'apprentissage de l'interaction pour humanoïdes bute d'ordinaire sur deux obstacles : la rareté de données d'interaction réalistes, et la nécessité d'ingénierie de récompense minutieuse, tâche par tâche, qui empêche le passage à l'échelle. Si les résultats se confirment, une vidéo unique suffirait à produire une politique transférable en simulation vers le réel, ce qui réduit fortement le coût d'ajout d'une compétence. Les auteurs affirment une meilleure généralisation que les méthodes antérieures, mais le texte ne détaille pas ici les références comparées ni les taux de réussite. Il faut aussi relativiser la portée : la méthode vaut pour une classe d'interactions « ancrables », donc pas pour toute manipulation. Les démonstrations portent sur un seul robot, le G1, et le tir sans perception externe montre davantage la qualité du contrôle que de l'adaptation à un environnement imprévu. Il s'agit d'un résultat de laboratoire, sans déploiement industriel. Ce travail s'inscrit dans la vague de l'apprentissage de mouvements humanoïdes à partir de vidéos humaines et de capture de mouvement, où le Unitree G1, peu coûteux et très répandu dans les laboratoires, sert de plateforme de référence. Les approches concurrentes se divisent entre imitation avec récompenses conçues à la main, pipelines de retargeting de mouvement et modèles vision-langage-action généralistes (VLA) comme Pi-0, GR00T N2 ou Helix, plus orientés manipulation et instruction en langage naturel que dynamique agile. HumanX se positionne à l'inverse sur l'agilité et la réactivité physique. Cette version v2 de l'article sur arXiv (2602.02473) indique une révision du manuscrit. Parmi les suites à surveiller figurent une validation sur d'autres morphologies, un élargissement au-delà des interactions ancrables et une mesure plus systématique de la robustesse face à des conditions non contrôlées.

RecherchePaper

1 source

3arXiv cs.RO

Transfert de trajectoires humain-robot centré sur la main à partir de vidéos via localisation de contacts en monde ouvert

Des chercheurs ont publié sur arXiv (arXiv:2606.10743, juin 2026) HOWTransfer, un cadre algorithmique centré sur la main pour transférer des démonstrations humaines filmées en trajectoires exécutables par un bras robotique. Le système fonctionne en trois étapes : reconstruction 3D temporellement cohérente du mouvement du poignet humain, localisation automatique des intervalles de contact main-objet à partir de cues visuels d'interaction, puis génération d'hypothèses de saisie en pince parallèle (parallel-jaw grasp) propagées le long de la trajectoire du poignet. Une phase finale d'édition raffine l'alignement de contact et produit plusieurs variantes exécutables depuis une seule vidéo de démonstration. Sur un ensemble de tâches de manipulation variées, le système atteint 86 % de taux de succès et est préféré aux trajectoires téléopérées dans une étude comparative en aveugle. Ce résultat mérite attention parce qu'il attaque directement le goulot d'étranglement principal du learning from demonstration (LfD) : collecter suffisamment de données de qualité. La téléopération reste coûteuse, lente et non scalable en industrie ; si un système peut extraire des trajectoires robotes directement depuis des vidéos de travailleurs humains filmés sur une chaîne d'assemblage ou en entrepôt, le coût d'entrée pour déployer de la manipulation apprise s'effondre. Fait notable : HOWTransfer ne s'appuie pas sur des descripteurs d'objets prédéfinis ni sur un tracking d'état explicite, ce qui le rend potentiellement généraliste sur des objets non vus. Le 86 % de succès annoncé est encourageant, mais les conditions expérimentales exactes (diversité des objets, profondeur de la caméra, nombre de tâches, robot cible) ne sont pas précisées dans le résumé, ce qui justifie une lecture du papier complet avant toute intégration industrielle. Le transfert de démonstration humaine vers robot via vidéo est un domaine en pleine effervescence depuis 2022-2023, porté par des travaux comme DROID, RoboAgent ou les approches VLA (Vision-Language-Action) de Google DeepMind et Physical Intelligence (Pi-0). HOWTransfer se distingue en adoptant une approche sans modèle de langage ni segmentation objet, ce qui le rend plus léger mais aussi plus fragile sur les scènes encombrées. Aucune affiliation industrielle ni partenariat de déploiement n'est mentionné : il s'agit pour l'instant d'un preprint académique, pas d'un produit. Les prochaines étapes naturelles seraient une validation sur des robots commerciaux (Franka, UR, ou humanoïdes comme Figure 03 ou Unitree G1) et une évaluation sur des benchmarks standardisés comme RLBench ou LIBERO pour situer la performance par rapport à l'état de l'art.

RecherchePaper

1 source

4arXiv cs.RO

Transfert causal inter-morphologies des vidéos humaines vers la manipulation robotique

Des chercheurs proposent Causal-Beam-Guided Subtask Transfer (CBST), une méthode décrite dans un preprint arXiv (2610.21798) qui vise à exploiter des vidéos de manipulation humaine pour améliorer l'apprentissage de robots, sans exiger de correspondance entre les mouvements de l'humain et ceux de la machine. CBST apprend d'abord des représentations liées à la manipulation à partir de vidéos humaines, puis les ancre dans des variables sémantiques au niveau de la tâche à l'aide de démonstrations robot. Dans un modèle de manipulation prédéfini, des contraintes dites de « causal beams » sélectionnent l'information contextuelle: les affectations retenues doivent soutenir les sorties des mécanismes locaux tout en conservant une réactivité non triviale aux entrées conservées. L'information sélectionnée conditionne un modèle monde-action (world-action model), qui génère les actions à partir des observations propres du robot. Les auteurs annoncent de meilleurs taux de réussite que les modèles monde-action de référence sur des benchmarks de manipulation robotique. Le résumé ne donne ni chiffres précis, ni noms de benchmarks, ni robots utilisés. L'enjeu est celui du coût des données. Faire passer à l'échelle les modèles de manipulation exige de grandes quantités d'interactions réelles, chères à collecter et peu diversifiées, alors que les vidéos humaines sont abondantes et variées. Le verrou tient aux différences de morphologie, d'espaces d'action et de mécanismes de contrôle, qui rendent les mouvements humains inutilisables comme supervision directe d'actions robot. Plutôt que de transférer des trajectoires, CBST se demande quelle connaissance doit franchir la barrière entre corps différents: les conditions contextuelles et les dépendances d'interaction nécessaires aux effets locaux d'une sous-tâche. Pour un intégrateur ou un décideur B2B, l'intérêt potentiel est de réduire la dépendance à la téléopération coûteuse. Il faut toutefois rester prudent: il s'agit d'un preprint non évalué par des pairs, et les gains sont mesurés sur des benchmarks, sans déploiement industriel ni preuve de robustesse hors laboratoire. L'amélioration est aussi relative à des références de la même famille, et non à l'ensemble de l'état de l'art. Ce travail s'inscrit dans un courant très actif de la robotique d'apprentissage: exploiter les vidéos humaines à grande échelle pour pré-entraîner des politiques, avec des modèles vision-langage-action (VLA) et des modèles du monde qui prédisent l'évolution de la scène. Les approches concurrentes cherchent à aligner humains et robots via le suivi de mains, la retraduction de poses ou des représentations latentes d'actions. CBST adopte l'option inverse, en évitant toute correspondance de mouvements et en privilégiant une sélection sémantique guidée par la causalité. Les prochaines étapes à surveiller sont la publication du code et des résultats détaillés, des tests sur robots réels et des comparaisons directes avec les méthodes d'alignement cinématique.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source