Aller au contenu principal
Vers un modèle généraliste de locomanipulation humanoïde par préentraînement sur des données humaines égocentriques du corps entierIllustration générée par IA
RecherchearXiv cs.RO 

Vers un modèle généraliste de locomanipulation humanoïde par préentraînement sur des données humaines égocentriques du corps entier

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient λ0, une politique vision-langage-action (VLA) pour humanoïde qui pilote l'ensemble du corps, c'est-à-dire la locomotion, la posture, la manipulation à deux mains et les mouvements de doigts. Le travail repose sur HumanVerse-500, un jeu de données de 500 heures de comportements humains de locomanipulation en environnements ouverts. Il a été collecté avec un système portable léger qui synchronise la vidéo égocentrique avec les mouvements du corps et des mains. L'entraînement se fait en trois étapes. La première apprend l'interaction à partir de jeux de données égocentriques variés. La deuxième coordonne corps et mains grâce à HumanVerse-500. La troisième adapte la politique à des tâches et à des robots précis. λ0 apprend un espace de représentation commun pour transférer l'expérience humaine, tandis que des interfaces propres à chaque domaine gèrent les écarts entre états et actions de l'humain et du robot. L'évaluation porte sur le benchmark SIMPLE et sur quatre tâches réelles de locomanipulation. Les auteurs revendiquent des performances « état de l'art » et analysent aussi le comportement à l'échelle, la généralisation et l'apport de chaque étape. Ils annoncent la publication du code, des modèles et des données. L'article précise toutefois ni le robot utilisé, ni les taux de réussite, ni les concurrents comparés.

L'enjeu est le coût de la donnée. Les vidéos égocentriques sont abondantes mais couvrent mal le mouvement du corps entier et sa coordination avec la manipulation. La téléopération d'humanoïdes produit la bonne donnée, mais elle est chère et difficile à passer à l'échelle. Cette étude teste une voie médiane : capter des humains équipés de capteurs légers, puis transférer vers le robot. Si les résultats tiennent, la collecte de démonstrations par téléopération deviendrait moins déterminante, et la capacité à capter du mouvement humain en conditions réelles le deviendrait davantage. Pour un intégrateur, cela pourrait réduire le coût d'adaptation à une nouvelle tâche ou à un nouveau robot, ce que la troisième étape cherche à démontrer. Il faut rester prudent : quatre tâches réelles, sans taux de réussite publiés dans le résumé, restent une base étroite. Le « état de l'art » dépend entièrement des références choisies. L'écart entre démonstration de laboratoire et déploiement industriel n'est pas traité ici.

Ce travail s'inscrit dans le mouvement des modèles fondation pour humanoïdes. Les VLA de type Pi-0, GR00T ou Helix ont d'abord ciblé des bras et des mains, avant de s'étendre au corps entier. En parallèle, le pré-entraînement sur vidéo humaine devient une piste majeure pour contourner la rareté des données robotiques. Les acteurs industriels qui ont leurs propres flottes de téléopération, comme Tesla, Figure ou Agility, ont un avantage en données propriétaires, que des corpus ouverts comme HumanVerse-500 pourraient réduire pour les laboratoires académiques et les petites équipes, y compris en Europe. La suite dépend de la publication effective du code, des modèles et des données, puis de reproductions indépendantes sur d'autres plateformes. Ce sont elles qui diront si le transfert humain vers robot résiste hors du cadre des auteurs.

À lire aussi

EgoHumanoid-V2 : transférer à un robot humanoïde des compétences coordonnées du corps entier en locomanipulation, à partir de l'humain
Illustration générée par IA
1arXiv cs.RO 

EgoHumanoid-V2 : transférer à un robot humanoïde des compétences coordonnées du corps entier en locomanipulation, à partir de l'humain

Des chercheurs publient EgoHumanoid-V2 (arXiv 2609.37181), un cadre de transfert de compétences d'un humain vers un robot humanoïde à partir de vidéos égocentriques, c'est-à-dire filmées depuis le point de vue de l'opérateur. Il vise la loco-manipulation coordonnée du corps entier, où la marche et l'usage des bras sont planifiés ensemble. Son cœur est un alignement d'actions « du grossier au fin ». Une première étape corrige la référence cinématique. Une seconde affine le résultat en tenant compte de la dynamique, ce qui améliore la précision de pose de l'effecteur final tout en préservant la coordination corps entier. Pour réduire l'écart visuel entre l'humain et le robot, l'équipe ajoute un rendu du bras robotique dans les images humaines, ainsi qu'une augmentation d'images à l'entraînement pour gagner en robustesse au changement de point de vue. Sur quatre tâches réelles, des politiques VLA (vision-langage-action) entraînées sur ces données humaines alignées réalisent un transfert « zéro-shot », sans aucune démonstration robot sur la tâche cible. Les scores sont annoncés comme comparables à ceux de politiques entraînées par téléopération, pour un coût de collecte plus faible. Le résumé ne donne ni le robot utilisé, ni le nombre de démonstrations, ni le coût chiffré. L'enjeu est d'abord économique. La téléopération reste le principal goulot d'étranglement des politiques humanoïdes : elle exige des robots, des opérateurs formés et du temps machine, et ses volumes plafonnent bien en dessous de ce que réclame un modèle généraliste. Filmer des humains est bien moins cher et couvre une diversité de scènes que aucun parc de robots ne peut reproduire. Si le résultat se confirme, il indique que la donnée humaine peut servir de supervision directe de compétences, et non plus seulement de préentraînement de la perception. Pour un intégrateur, cela ouvrirait la voie à des compétences apprises sur site sans mobiliser de robot. Il faut toutefois rester prudent : quatre tâches, une comparaison « comparable » sans écart chiffré dans le résumé, et un article en version préliminaire (v1) qui n'a pas passé de relecture par les pairs. Rien ne dit non plus que ces scores tiennent hors du laboratoire, sur des cadences industrielles. Ce travail prolonge une première génération de méthodes égocentriques qui misait surtout sur la généralisation de scènes, avec un contrôle découplé entre locomotion et manipulation, ce qui laissait de côté les compétences corps entier coordonnées. Il s'inscrit dans une course plus large à la donnée humaine : les grands acteurs des modèles fondation humanoïdes, comme Figure avec Helix, NVIDIA avec GR00T ou Physical Intelligence avec Pi-0, cherchent tous à réduire leur dépendance à la téléopération, par la simulation, la vidéo humaine ou les deux. Aucun déploiement ni calendrier commercial n'est annoncé ici, il s'agit d'une contribution de recherche. La suite logique serait un test sur davantage de tâches et de morphologies, avec des comparaisons chiffrées de coût et de performance face à la téléopération.

RecherchePaper
1 source
SP-HLM : génération de mouvements pilotée par poses éparses et contrôle du corps entier pour la loco-manipulation humanoïde
Illustration générée par IA
2arXiv cs.RO 

SP-HLM : génération de mouvements pilotée par poses éparses et contrôle du corps entier pour la loco-manipulation humanoïde

Des chercheurs proposent SP-HLM, un cadre logiciel pour la loco-manipulation humanoïde (marcher et manipuler des objets simultanément), publié sur arXiv en octobre 2026. L'idée centrale est une interface « à poses éparses » entre la politique de haut niveau et le contrôle du corps entier. Cinq poses corporelles critiques pour la tâche expriment l'intention spatiale, et un a priori de mouvement latent appris porte la coordination du corps entier. Quatre modules s'enchaînent. SP-VLA, un modèle vision-langage-action, prédit les poses éparses et les positions des articulations des doigts à partir d'observations multimodales et d'instructions en langage naturel, avec une inférence asynchrone par blocs d'actions (action chunks). SP-MGM, un modèle de génération de mouvement entraîné par distillation en deux étapes, reconstruit en temps réel un mouvement complet et cohérent à partir de ces cibles. Un encodeur de mouvement pré-entraîné compresse ce mouvement en représentation latente. SP-GMT, un tracker de mouvement généraliste, fusionne enfin les cibles explicites et cet a priori implicite pour piloter le corps entier. Les essais portent sur des simulations et sur un humanoïde réel, avec de meilleurs résultats annoncés en suivi de mouvement, en coordination et en taux de réussite. L'extrait disponible ne donne ni chiffres, ni nom de robot, ni liste des méthodes de comparaison. L'intérêt tient à un point de friction connu des architectures VLA pour humanoïdes. Soit la politique de haut niveau sort des actions articulaires de bas niveau, ce qui la surcharge, soit elle sort des cibles trop pauvres (par exemple la seule position des mains), ce qui laisse le corps sous-spécifié et produit des postures peu naturelles ou instables. Séparer l'intention, portée par les poses explicites, de la coordination, portée par l'a priori latent, est une réponse d'architecture plausible. Si les gains se confirment, un VLA pourrait rester léger tout en pilotant un contrôleur whole-body robuste, ce qui faciliterait l'intégration de ces briques chez les intégrateurs. Il faut rester prudent. Il s'agit d'un préprint non évalué par des pairs. Les résultats sur « un » robot réel ne disent rien de la robustesse sur des cycles longs, en environnement non contrôlé, ni de la comparaison à budget de calcul équivalent. Rien n'est annoncé sur la disponibilité du code ou des modèles, au-delà d'une page projet avec des vidéos, dont la sélection reste à nuancer. Ce travail s'inscrit dans la course à une pile « VLA plus contrôleur corps entier » pour humanoïdes. Des approches comme Helix de Figure, GR00T de NVIDIA ou les modèles Pi de Physical Intelligence partagent la même logique de hiérarchie entre planification et contrôle, avec des interfaces différentes. Le suivi de mouvement généraliste, popularisé par les travaux sur la rétro-cinématique apprise et les politiques entraînées en simulation puis transférées au réel (sim-to-real), sert ici de socle. SP-HLM est un résultat de recherche académique, sans calendrier de déploiement ni partenaire industriel annoncé. La suite probable est une validation sur davantage de tâches et de plateformes, puis une éventuelle ouverture du code, qui permettra à la communauté de vérifier la reproductibilité.

RecherchePaper
1 source
λ₀ : passage à l'échelle des données égocentriques humaines en milieu ouvert pour la loco-manipulation des robots humanoïdes
Illustration générée par IA
3arXiv cs.RO 

λ₀ : passage à l'échelle des données égocentriques humaines en milieu ouvert pour la loco-manipulation des robots humanoïdes

Une équipe de chercheurs publie λ0 (lambda-zéro), un modèle fondation pour la loco-manipulation de robots humanoïdes (manipulation combinée à la locomotion, corps entier), accompagné de HumanVerse, un jeu de données de 500 heures de vidéo égocentrique. Ces vidéos, tournées en environnements ouverts, sont synchronisées avec les mouvements du corps et des mains. Le pipeline aligne les points de vue de caméra et l'apparence des bras humains sur ceux du robot. Il affine ensuite hors ligne les références de mouvement et les entrées du contrôleur, afin de réduire les erreurs de l'effecteur terminal tout en préservant la coordination du corps entier. Les auteurs l'ont validé par un transfert zero-shot sur un Unitree G1, sur des tâches de manipulation corps entier et de loco-manipulation longue portée, sans aucune démonstration robot sur la tâche cible. Pour λ0, ces données humaines alignées servent de supervision en mi-entraînement. Le modèle atteint 90,0 % de réussite sur le benchmark SIMPLE et 62,5 % sur l'ensemble des tâches réelles de loco-manipulation. Les auteurs précisent que plus on ajoute de données humaines corps entier, plus la progression sur les tâches aval s'améliore. L'intérêt tient au coût de la donnée. Les démonstrations robot par téléopération restent chères et lentes à collecter, et ce goulot limite les modèles vision-langage-action (VLA) actuels. Les corpus humains égocentriques existants omettent souvent la locomotion et la posture, donc l'essentiel de ce qui distingue un humanoïde d'un bras monté sur une base fixe. Montrer qu'une supervision humaine corps entier se transfère, et que la performance croît avec le volume, plaide pour un régime de passage à l'échelle comparable à celui du texte et de l'image. Il faut toutefois lire les chiffres avec prudence. Un taux de 62,5 % en conditions réelles reste loin d'un seuil de déploiement industriel. Le détail des tâches, le nombre d'essais et la comparaison avec des modèles de référence ne figurent pas dans le résumé. Enfin, toutes les validations semblent reposer sur un seul robot, le G1, plateforme de recherche bon marché. Ce travail s'inscrit dans une tendance déjà visible chez les grands acteurs. Les modèles comme Pi-0 de Physical Intelligence, GR00T de NVIDIA ou Helix de Figure misent sur des mélanges de données robot, de simulation et de vidéo humaine, et Tesla vise lui aussi l'apprentissage à partir de vidéos pour Optimus. La spécificité de λ0 est de coupler explicitement perception égocentrique, posture et locomotion, puis de corriger les écarts de morphologie par un traitement hors ligne. Il s'agit ici d'une publication de recherche (arXiv), sans produit ni déploiement commercial annoncé. Les prochaines étapes à surveiller sont la publication éventuelle des données et du code, la reproduction sur d'autres morphologies que le G1, et la confrontation à des tâches industrielles longues.

RecherchePaper
1 source
WB-WAM : pré-entraînement hétérogène corps-main pour la locomanipulation humanoïde
Illustration générée par IA
4arXiv cs.RO 

WB-WAM : pré-entraînement hétérogène corps-main pour la locomanipulation humanoïde

Des chercheurs publient WB-WAM, un « World Action Model » (modèle qui prédit conjointement la vidéo future et les actions) conçu pour la manipulation mobile des humanoïdes (loco-manipulation). Il apprend à partir de 1 880,2 heures de vidéos et de données de mouvement annotées de façon partielle. Un espace d'action physique commun fusionne des annotations hétérogènes : articulations du corps, déplacement de la base (root) et doigts de la main dextre. Les priors ainsi obtenus sont affinés par une étape intermédiaire baptisée PICO, puis adaptés aux tâches robotiques avec une supervision auxiliaire par cinématique directe. Les auteurs ont construit WB-Datasets, qui combine démonstrations humaines égocentriques retargetées sur le robot et trajectoires robotiques. En simulation, le modèle atteint 81,9 % de réussite sur HumanoidArena. En conditions réelles, il affiche 84,0 % de succès moyen sur cinq tâches. L'article ne précise ni le robot utilisé, ni le nombre d'essais par tâche, ni les modèles de référence comparés dans ces chiffres. Le point central tient à la donnée. Les corpus de pré-entraînement robotique couvrent mal les mouvements du corps entier, alors que les humanoïdes doivent coordonner jambes, torse, bras et mains dans une même tâche. WB-WAM suggère qu'on peut combler ce manque en réutilisant des démonstrations humaines égocentriques, plus faciles à collecter que la téléopération sur robot. Les auteurs affirment que la mi-formation PICO alignée sur la tâche améliore les performances et réduit le nombre de démonstrations réelles nécessaires. Pour un intégrateur, c'est un levier de coût : le goulot d'étranglement actuel est le volume de données robot, pas l'architecture. À nuancer : 84 % de réussite sur cinq tâches reste un chiffre de laboratoire, sans information sur la durée de cycle, la robustesse hors distribution ou la fiabilité sur de longues périodes, qui comptent pour un déploiement industriel. Le résultat soutient la voie des modèles vidéo-action, sans prouver qu'elle passe à l'échelle en production. Ce travail s'inscrit dans la montée des modèles d'action fondés sur la vidéo générative, en parallèle des VLA (vision-langage-action) comme Pi-0, GR00T ou Helix. Ces derniers se concentrent souvent sur la manipulation à bras fixes ou semi-mobile, tandis que WB-WAM vise le corps entier, mains dextres comprises. Les acteurs de l'humanoïde industriel (Figure, Tesla avec Optimus, Agility, ainsi que les acteurs européens comme Wandercraft ou Enchanted Tools) font face au même problème de données, ce qui rend les approches de transfert depuis l'humain stratégiques. Il s'agit ici d'une prépublication arXiv (version 2), sans produit ni pilote annoncé. La suite à surveiller : la publication du code et des jeux de données WB-Datasets, la reproduction par d'autres équipes, et la validation sur des tâches plus longues et plus variées.

RecherchePaper
1 source