Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
WARP : rétargétage corps entier pour l'apprentissage par démonstrations humaines préenregistréesIllustration générée par IA
RecherchearXiv cs.RO 

WARP : rétargétage corps entier pour l'apprentissage par démonstrations humaines préenregistrées

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Un pipeline de transformation de poses humaines en actions robotiques, baptisé WARP (Whole-body-Aware Retargeting from human Pose), vient d'être publié en préprint sur arXiv (2606.29940). L'objectif est de permettre la manipulation mobile corps-entier à partir de séquences de démonstrations humaines capturées hors-ligne, sans recourir à la télé-opération. La méthode centrale repose sur un solveur géométrique à forme fermée dit SEW (Shoulder-Elbow-Wrist), qui calcule de façon exacte la position et l'orientation des effecteurs terminaux du robot tout en conservant la cohérence globale de la posture. À cela s'ajoute une stratégie de contrôle "lazy" de la base mobile, qui minimise les déplacements inutiles de la plateforme pour produire des trajectoires cohérentes et déterministes. Les auteurs rapportent qu'en rejeu boucle ouverte sur robot réel, les données générées sont suffisamment fiables pour une exécution directe sans correction humaine, ce qui constitue leur principale validation expérimentale.

L'enjeu central est la suppression de la télé-opération comme source de données d'entraînement. Collecter des données de téléopération à grande échelle reste coûteux, lent et difficile à généraliser entre plateformes. Les méthodes de retargeting existantes produisent des solutions ambiguës, engendrant une "multi-modalité d'action" qui empêche la convergence des politiques supervisées. WARP prétend résoudre ce problème via un solveur déterministe, ce qui aligne données humaines et action robot de façon univoque. Si la revendication "zero-shot" des auteurs se confirme en dehors de conditions contrôlées, cela réduirait significativement le coût d'acquisition de données pour les systèmes de manipulation mobile, en ouvrant l'accès à des corpus vidéo humains existants comme source d'entraînement à grande échelle.

Ce travail s'inscrit dans une tendance forte de la recherche en robotique apprenante : exploiter la donnée humaine plutôt que la donnée robot. Des systèmes comme pi-0 (Physical Intelligence), OpenVLA ou ACT ont montré que les politiques visuomotrices peuvent apprendre depuis des démonstrations téléopérées ou humaines, mais le passage à la manipulation corps-entier sur base mobile restait un verrou technique non résolu. WARP ne mentionne ni déploiement industriel ni plateforme robot spécifique dans son résumé, ce qui cantonne pour l'instant la contribution au cadre académique. La prochaine étape logique serait de tester la robustesse hors distribution et de comparer les politiques issues de WARP à celles entraînées sur données téléopérées, sur des benchmarks communs comme ceux d'OXE ou LIBERO.

Dans nos dossiers

Physical Intelligence — π0OpenVLA / RT-XarXiv cs.RO

À lire aussi

HoMMI : apprentissage de la manipulation mobile corps entier à partir de démonstrations humaines
Illustration générée par IA
1arXiv cs.RO 

HoMMI : apprentissage de la manipulation mobile corps entier à partir de démonstrations humaines

Une équipe de chercheurs a publié sur arXiv (arXiv:2603.03243v2) HoMMI, pour Whole-Body Mobile Manipulation Interface, un framework d'apprentissage par imitation permettant à un robot mobile de maîtriser la manipulation bimanuelle et la navigation à partir de démonstrations humaines réalisées sans robot. Le principe : un opérateur humain porte une interface portative héritée du projet UMI (Universal Manipulation Interface), enrichie d'une caméra égocentrique capturant le contexte global de la scène (position dans l'espace, état de l'environnement). Ces données brutes alimentent une politique apprise, transférée ensuite sur un robot à corps entier (bras, torse, base mobile) sans que celui-ci n'ait été présent lors de la collecte. La difficulté centrale que HoMMI cherche à résoudre est l'"embodiment gap" : la différence morphologique et sensorielle entre humain et robot rend le transfert de politique difficile, particulièrement en perception égocentrique où les champs de vue et hauteurs d'oeil divergent fortement. Les auteurs proposent trois briques techniques pour combler cet écart : une représentation visuelle agnostique à l'embodiment, une représentation d'action "head relaxed" qui neutralise les variations de mouvement de tête, et un contrôleur corps entier réalisant les trajectoires main-oeil sous contraintes physiques du robot. Ces choix permettent des tâches longue-séquence mobilisant navigation, perception active et coordination bimanuelle, le type de scénario que les architectures Vision-Language-Action (VLA) comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA visent également à résoudre. Les résultats, présentés sous forme de vidéos sur hommi-robot.github.io, restent à valider en conditions non contrôlées et sur des benchmarks standardisés. HoMMI s'inscrit dans la continuité directe du projet UMI (Columbia/Stanford, 2024), qui avait popularisé la collecte portable de démonstrations pour la manipulation fixe sur table. L'extension au robot mobile ajoute la dimension navigation, saut de complexité majeur pour le sim-to-real et la généralisation hors laboratoire. Les approches concurrentes incluent Mobile ALOHA (Stanford), les pipelines de distillation de données de Physical Intelligence, et les travaux de manipulation bimanuelle ALOHA/ACT de Berkeley. HoMMI reste à ce stade un preprint arXiv sans déploiement industriel annoncé ni métriques de taux de succès publiées, une limite habituelle des publications en robotique d'apprentissage avant revue par les pairs.

RecherchePaper
1 source
WARPED : rendu aligné sur le poignet pour l'apprentissage de politiques robotiques à partir de démonstrations humaines égocentriques
Illustration générée par IA
2arXiv cs.RO 

WARPED : rendu aligné sur le poignet pour l'apprentissage de politiques robotiques à partir de démonstrations humaines égocentriques

Des chercheurs présentent WARPED, un cadre logiciel qui génère des observations « vue poignet » et les actions associées à partir de simples vidéos de démonstrations humaines, afin d'entraîner des politiques visuomotrices de robot. Le système n'exige qu'une caméra RGB monoculaire portée à hauteur des yeux. Il n'utilise ni configuration multicaméra, ni capteur de profondeur, ni matériel dédié. La chaîne de traitement comporte trois étapes. Des modèles de fondation de vision initialisent d'abord la scène interactive. Un module d'interaction main-objet suit ensuite la main et l'objet manipulé, puis transpose ces trajectoires vers un effecteur de robot (retargeting). Enfin, du Gaussian Splatting produit des images photoréalistes du point de vue du poignet, qui servent à entraîner directement la politique. Les auteurs annoncent des taux de réussite comparables à ceux de la téléopération sur quatre des cinq tâches d'objets rigides sur table, ainsi que sur une tâche à objet articulé. La collecte de données demande 4 à 9 fois moins de temps. Le texte ne précise ni le robot, ni le nombre de démonstrations, ni les modèles de politique employés. Pour l'industrie, l'intérêt tient au coût de la donnée, principal goulot des politiques apprises par imitation. La téléopération reste la référence, mais elle mobilise du matériel et des opérateurs. Filmer un humain avec une seule caméra rend la collecte beaucoup plus simple à déployer. Le point le plus utile pour les intégrateurs est le rendu depuis le poignet. Les caméras embarquées sur l'effecteur sont aujourd'hui très répandues dans les systèmes de manipulation. Or les méthodes d'apprentissage depuis l'humain se limitent en général à des vues tierces ou égocentriques, qui diffèrent de ce que voit le robot. Les résultats restent toutefois à nuancer. Ils portent sur cinq tâches de table, avec une seule tâche articulée, et la mention « comparable à la téléopération » ne vaut que pour une partie des essais. Une des tâches rigides n'atteint donc pas ce niveau. Rien n'indique non plus une validation en environnement industriel, ni sur des tâches dextres ou riches en contacts. Ces travaux s'inscrivent dans la recherche sur l'apprentissage par démonstration humaine, qui cherche à contourner la téléopération. Ils s'appuient sur deux briques récentes : les modèles de fondation de vision pour reconstruire la scène, et le Gaussian Splatting pour le rendu de nouveaux points de vue. L'article, publié sur arXiv sous la référence 2604.10809 et ici en version 2 (v2), est un travail académique. Il ne s'agit ni d'un produit ni d'un déploiement commercial. Les prochaines étapes à surveiller sont la validation sur davantage de tâches, de robots et de scènes encombrées, ainsi que l'éventuelle publication du code, qui conditionnera l'adoption par d'autres laboratoires. Elles détermineront si la méthode sort du cadre de la table de laboratoire.

RecherchePaper
1 source
Human2Dex : apprentissage de la dextérité robotique à partir de démonstrations humaines centrées sur le poignet
Illustration générée par IA
3arXiv cs.RO 

Human2Dex : apprentissage de la dextérité robotique à partir de démonstrations humaines centrées sur le poignet

Des chercheurs proposent Human2Dex, une interface de démonstration humaine centrée sur le poignet, conçue pour qu'un seul corpus de démonstrations naturelles serve à entraîner des politiques sur plusieurs mains robotiques dextres, sans collecter de données de tâche sur chaque robot cible. Le système aligne les observations par une adaptation locale de l'apparence de la main et une représentation commune à 21 points, dont la structure garde le même sens sur l'humain et sur le robot. Il produit ensuite une supervision exécutable en retargetant le mouvement fusionné de la main humaine vers chaque main cible. Une représentation baptisée GPIR (Grasp-Pocket Interaction Representation) exprime la position des objets suivis par rapport à une « Functional Grasp Pocket » centrée sur la main. Le corpus est converti en jeux d'entraînement distincts pour la Linker O6 et la Wuji. Les étiquettes d'action, la normalisation, l'entraînement et les checkpoints de diffusion policy restent propres à chaque main. Sur six tâches réelles, Human2Dex réussit 109 essais sur 120 (90,8 %) avec la Linker O6 et 97 sur 120 (80,8 %) avec la Wuji. Sur les deux mains cumulées, la baseline « Human-Raw », qui exploite les données humaines brutes, n'atteint que 63 succès sur 240 (26,3 %), contre 206 sur 240 (85,8 %) pour la configuration complète. L'écart entre 26,3 % et 85,8 % est le résultat à retenir. Il indique que les données humaines brutes ne suffisent pas : l'alignement des observations, le retargeting et la représentation relative à la main de l'objet apportent l'essentiel du gain. Pour les intégrateurs et les équipes qui déploient des mains dextres, la promesse est de réduire le coût de la collecte de données. Aujourd'hui, chaque nouvelle main ou chaque nouvelle tâche impose souvent de la téléopération répétée sur le robot cible. Un corpus humain réutilisable déplace cet effort vers une collecte unique, plus rapide et moins chère. Les résultats vont aussi dans le sens d'une séparation entre ce qui se partage (observation et sémantique du mouvement) et ce qui doit rester spécifique à la machine (actions, normalisation, politique). Il faut toutefois rester prudent. Le titre parle d'un transfert entre mains « calibrées », ce qui suppose une calibration préalable. L'évaluation couvre seulement deux mains et six tâches, avec 20 essais par tâche et par main. Elle vient d'un seul groupe, sans validation externe à ce stade. Enfin, les 80 à 90 % de succès ne disent pas la robustesse en production, par exemple la variabilité des objets, la durée des cycles ou les reprises après échec. Ce travail s'inscrit dans la course aux données pour la manipulation dextre. Les approches concurrentes reposent sur la téléopération avec gants ou exosquelettes, sur des interfaces portables du type UMI, sur l'apprentissage à partir de vidéos humaines ou sur la simulation avec transfert sim-to-real. Les diffusion policies sont devenues la brique standard pour apprendre ces comportements à partir de démonstrations. Human2Dex cherche à unifier la collecte du côté humain tout en gardant un apprentissage par embodiment. Le papier, publié sur arXiv (2610.13119v1) avec un site de projet public, est une prépublication non relue par des pairs. Les prochaines étapes à surveiller sont l'extension à d'autres mains, comme les mains d'humanoïdes, le passage à des tâches à contacts plus riches et la réplication par d'autres laboratoires. Le papier ne mentionne ni partenaire industriel ni calendrier de commercialisation.

RecherchePaper
1 source
ZeroWBC : apprentissage de l'interaction naturelle corps entier pour humanoïdes à partir de données égocentrées humaines
Illustration générée par IA
4arXiv cs.RO 

ZeroWBC : apprentissage de l'interaction naturelle corps entier pour humanoïdes à partir de données égocentrées humaines

Une équipe de recherche a publié sur arXiv (référence 2603.09170v2) ZeroWBC, un cadre d'apprentissage du contrôle corporel complet pour robots humanoïdes qui se passe entièrement de données de télé-opération. Le système apprend à partir de vidéos égocentrées humaines -- c'est-à-dire filmées du point de vue d'un opérateur -- associées à des annotations de mouvement corps-entier et de texte. Concrètement, une image initiale prise en vue subjective est combinée à une instruction en langage naturel ; un modèle vision-langage (VLM) affiné génère alors des tokens de mouvement humain futur, qui sont décodés en trajectoires continues et retargetés vers le robot humanoïde. Ces mouvements de référence, accompagnés des trajectoires de la racine et des parties clés du corps, alimentent ensuite une politique de suivi de mouvement interactif. Les expériences ont été conduites sur le robot Unitree G1, un humanoïde compact commercialisé à environ 16 000 dollars. L'apport central de ZeroWBC réside dans l'élimination du coût de collecte des données de télé-opération, traditionnellement un verrou majeur pour l'apprentissage du contrôle corps-entier à grande échelle. En exploitant le stock immense de vidéos humaines égocentrées déjà disponibles, la méthode ouvre un paradigme de scalabilité que les approches par démonstration robotique directe ne peuvent pas égaler facilement. L'introduction d'une récompense de suivi orientée interaction -- qui priorise l'alignement global des trajectoires tout en préservant la naturalité du mouvement -- tente de combler le gap entre génération de gestes plausibles et exécution physiquement cohérente. C'est un résultat de recherche académique, pas un produit déployé en production : les vidéos présentées montrent des comportements variés en scène statique, mais les conditions réelles d'un environnement industriel dynamique n'ont pas été testées. ZeroWBC s'inscrit dans un courant plus large de méthodes "zéro-démonstration robot" qui cherchent à transférer la richesse des données humaines vers des systèmes incarnés, à l'instar des travaux sur les politiques visuomotrices à base de VLA (Vision-Language-Action). Sur le terrain concurrent, des approches comme ACT, UMI ou les pipelines de diffusion de Physical Intelligence (Pi-0) misent encore largement sur la télé-opération directe ou les données simulées. Unitree, constructeur chinois dont le G1 est l'une des plateformes humanoïdes les plus accessibles du marché, bénéficie ici d'une visibilité croissante comme banc d'essai académique de référence. Les prochaines étapes naturelles seraient d'étendre ZeroWBC à des scènes dynamiques, de tester la robustesse en dehors du labo, et d'évaluer si le sim-to-real tient face à la variabilité réelle des interactions objet-robot.

RechercheOpinion
1 source