RecherchearXiv cs.RO 27 octobre 2026

Zero-HLM : manipulation locomotrice humanoïde généralisable sans données de robot réel

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent Zero-HLM, un cadre « real-to-sim-to-real » qui produit des données d'entraînement pour la locomanipulation de robots humanoïdes (marcher et manipuler avec le corps entier) sans aucune démonstration sur robot réel. Le pipeline part de captures faites au smartphone et de démonstrations sources simulées. Une reconstruction réel-vers-simulation, guidée par des Gaussian splats et pilotée par des agents, aligne la scène visuelle et la scène physique. Une co-adaptation mouvement-environnement s'appuie ensuite sur le retour des rollouts (exécutions simulées) pour corriger les références de mouvement du corps entier et la géométrie d'interaction. Les auteurs génèrent 4 800 démonstrations validées physiquement, utilisées pour un transfert zéro-shot sur trois tâches avec un Unitree G1. La politique GR00T N1.7 entraînée en simulation atteint 66,7 % de succès moyen sur la tâche complète, contre 46,7 % avec un entraînement sur données réelles. Sur des configurations généralisées, l'extension de l'entraînement en simulation fait passer le succès agrégé de 23 % (politiques de base entraînées sur données réelles) à 69 %, sans démonstration réelle supplémentaire.

Le résultat s'attaque au principal goulot d'étranglement de l'apprentissage humanoïde : le coût de la téléopération et de la collecte de démonstrations réelles, qui plafonne la taille des jeux de données et la généralisation. Si les chiffres tiennent, la simulation ne sert plus seulement de complément : elle dépasse les données réelles sur ce benchmark, et la capture par smartphone abaisse fortement le coût de numérisation d'un nouvel environnement. C'est un argument concret pour les intégrateurs qui doivent adapter un humanoïde à des sites variés sans immobiliser un robot et un opérateur pendant des semaines. Il faut toutefois relativiser. L'évaluation porte sur trois tâches et un seul robot, les taux de succès restent modestes pour un usage industriel (environ deux tiers), et la base réelle de comparaison semble réduite, ce qui rend l'écart de 46,7 % à 66,7 % sensible au protocole. Le gain de 23 % à 69 % compare par ailleurs un entraînement de base à un entraînement enrichi, et non deux approches à budget égal. Il s'agit d'un preprint arXiv, non évalué par les pairs, sans déploiement réel.

Le travail s'inscrit dans la montée des modèles VLA (vision-langage-action) fondés sur des modèles de base, ici GR00T de NVIDIA, dont la version N1.7 sert de politique. Il prolonge les approches de reconstruction par Gaussian splatting et d'apprentissage sim-to-real déjà explorées pour les bras manipulateurs, en les étendant au corps entier d'un humanoïde. Il se place face aux stratégies de collecte massive de données réelles, comme les flottes de téléopération de Tesla (Optimus) ou de Figure (Helix), et aux approches de capture vidéo humaine. Le code et la page projet sont annoncés, ce qui permettra une reproduction indépendante. Les prochaines étapes à surveiller sont l'extension à d'autres morphologies que le G1, à des tâches longues et contraintes en contact, ainsi qu'une validation en environnement industriel.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Unitree IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

EgoHumanoid : la manipulation locomotrice en environnement réel grâce aux démonstrations égocentriques sans robot

EgoHumanoid, publié sur arXiv (identifiant 2602.10106), propose un framework pour entraîner des robots humanoïdes à la loco-manipulation, c'est-à-dire la coordination simultanée de la locomotion et de la manipulation d'objets, en exploitant des démonstrations humaines égocentrées plutôt que de la télé-opération robotique classique. L'architecture co-entraîne une politique VLA (vision-language-action) sur un corpus mixte composé de larges volumes de vidéos humaines en vue à la première personne, complétés par un volume limité de données robot. Pour réduire le fossé morphologique entre humains et robots, les auteurs ont développé un système portable de collecte de données et deux modules d'alignement : un alignement de vue corrigeant les différences de hauteur et de perspective entre caméra humaine et capteur robot, et un alignement d'action transposant les mouvements humains vers un espace cinématiquement réalisable par le robot. Les expériences en environnements réels montrent que l'ajout des données égocentrées humaines dépasse les baselines entraînées sur données robot seules de 51 %, avec un gain particulièrement marqué sur des environnements non vus lors de l'entraînement. La loco-manipulation humanoïde est l'un des problèmes les plus gourmands en données de la robotique moderne : le robot doit simultanément planifier ses déplacements et interagir avec des objets dans des espaces non structurés. EgoHumanoid valide l'hypothèse que la diversité des démonstrations humaines compense la différence morphologique, à condition de résoudre correctement les alignements de vue et d'action. Pour les intégrateurs et décideurs industriels, cela signale une voie de scaling de la donnée nettement moins chère que la télé-opération spécialisée, sans dépendre de simulateurs dont le transfert sim-to-real reste incertain. La démonstration humaine pour les robots manipulateurs d'établis est une pratique établie, mais son extension aux humanoïdes en loco-manipulation restait peu explorée. EgoHumanoid se positionne directement face aux pipelines de collecte adoptés par les grands acteurs, notamment Figure AI avec Helix, Physical Intelligence avec Pi-0 et NVIDIA avec GR00T N2, qui s'appuient tous sur des approches intensives en télé-opération ou en simulation. Il s'agit d'une publication académique, sans annonce de produit ni déploiement commercial associé. Les suites logiques seraient une validation à plus grande échelle du protocole de collecte humaine et une intégration dans des frameworks VLA existants pour tester la montée en charge sur des tâches industrielles réelles.

RechercheOpinion

1 source

2arXiv cs.RO

Génération de données préservant la fonction pour la manipulation réelle-vers-simulation-vers-réelle en zero-shot

Une équipe de recherche publie sur arXiv, sous l'identifiant 2609.18293 et sans revue par les pairs à ce stade, un framework de génération de données synthétiques pour l'apprentissage de politiques de manipulation robotique, capable de produire des démonstrations d'entraînement sans trajectoire téléopérée de départ. La méthode reconstruit des maillages 3D d'objets réels puis les déforme via une déformation guidée par contraintes qui préserve les interfaces géométriques critiques de la tâche, comme les surfaces de contact nécessaires à une insertion précise, tout en transférant les poses de tâche et les proxys de collision de manière physiquement cohérente. Une randomisation visuelle du domaine est ensuite appliquée pendant les simulations, et les politiques ainsi entraînées sont déployées en zero-shot sur robot réel, sans phase de fine-tuning sur données réelles. Les auteurs rapportent des expériences en simulation et sur banc réel pour des tâches de manipulation riches en contacts et à horizon long. L'enjeu vise le goulot d'étranglement actuel de l'apprentissage robotique : collecter, pour chaque nouvelle géométrie d'objet, assez de démonstrations réelles pour des tâches à tolérance géométrique serrée. Les méthodes standards d'augmentation de forme distordent souvent ces interfaces critiques, provoquant des défauts d'ajustement ou des interpénétrations qui rendent les trajectoires générées physiquement invalides et donc inexploitables. En préservant la fonction de l'interface de contact tout en diversifiant l'apparence des objets, l'approche promet de produire à moindre coût des démonstrations valides sans flotte de téléopérateurs humains, un enjeu direct pour l'entraînement des modèles vision-langage-action dont la rareté des données reste le principal facteur limitant. Le papier revendique une généralisation robuste à des géométries et conditions visuelles inédites, mais l'abstract ne fournit aucun taux de réussite chiffré ni comparaison à des méthodes concurrentes publiées, ce qui invite à considérer ces résultats comme préliminaires. Ce travail s'inscrit dans la ligne de recherche dite real-to-sim-to-real, qui cherche depuis plusieurs années à remplacer une partie de la téléopération humaine par de la simulation physique pour faire passer à l'échelle l'apprentissage robotique, notamment sur les tâches d'assemblage et d'insertion. L'abstract ne précise ni le laboratoire ni l'entreprise à l'origine des travaux, ni la disponibilité d'un code ou d'un jeu de données. Les étapes attendues restent classiques pour ce stade de recherche : publication avec revue par les pairs, comparaison chiffrée face aux méthodes existantes de génération de données synthétiques, puis éventuelle adoption par des intégrateurs confrontés à des tâches de manipulation industrielle à forte exigence géométrique.

RecherchePaper

1 source

3arXiv cs.RO

Vers un modèle généraliste de locomanipulation humanoïde par préentraînement sur des données humaines égocentriques du corps entier

Des chercheurs publient λ0, une politique vision-langage-action (VLA) pour humanoïde qui pilote l'ensemble du corps, c'est-à-dire la locomotion, la posture, la manipulation à deux mains et les mouvements de doigts. Le travail repose sur HumanVerse-500, un jeu de données de 500 heures de comportements humains de locomanipulation en environnements ouverts. Il a été collecté avec un système portable léger qui synchronise la vidéo égocentrique avec les mouvements du corps et des mains. L'entraînement se fait en trois étapes. La première apprend l'interaction à partir de jeux de données égocentriques variés. La deuxième coordonne corps et mains grâce à HumanVerse-500. La troisième adapte la politique à des tâches et à des robots précis. λ0 apprend un espace de représentation commun pour transférer l'expérience humaine, tandis que des interfaces propres à chaque domaine gèrent les écarts entre états et actions de l'humain et du robot. L'évaluation porte sur le benchmark SIMPLE et sur quatre tâches réelles de locomanipulation. Les auteurs revendiquent des performances « état de l'art » et analysent aussi le comportement à l'échelle, la généralisation et l'apport de chaque étape. Ils annoncent la publication du code, des modèles et des données. L'article précise toutefois ni le robot utilisé, ni les taux de réussite, ni les concurrents comparés. L'enjeu est le coût de la donnée. Les vidéos égocentriques sont abondantes mais couvrent mal le mouvement du corps entier et sa coordination avec la manipulation. La téléopération d'humanoïdes produit la bonne donnée, mais elle est chère et difficile à passer à l'échelle. Cette étude teste une voie médiane : capter des humains équipés de capteurs légers, puis transférer vers le robot. Si les résultats tiennent, la collecte de démonstrations par téléopération deviendrait moins déterminante, et la capacité à capter du mouvement humain en conditions réelles le deviendrait davantage. Pour un intégrateur, cela pourrait réduire le coût d'adaptation à une nouvelle tâche ou à un nouveau robot, ce que la troisième étape cherche à démontrer. Il faut rester prudent : quatre tâches réelles, sans taux de réussite publiés dans le résumé, restent une base étroite. Le « état de l'art » dépend entièrement des références choisies. L'écart entre démonstration de laboratoire et déploiement industriel n'est pas traité ici. Ce travail s'inscrit dans le mouvement des modèles fondation pour humanoïdes. Les VLA de type Pi-0, GR00T ou Helix ont d'abord ciblé des bras et des mains, avant de s'étendre au corps entier. En parallèle, le pré-entraînement sur vidéo humaine devient une piste majeure pour contourner la rareté des données robotiques. Les acteurs industriels qui ont leurs propres flottes de téléopération, comme Tesla, Figure ou Agility, ont un avantage en données propriétaires, que des corpus ouverts comme HumanVerse-500 pourraient réduire pour les laboratoires académiques et les petites équipes, y compris en Europe. La suite dépend de la publication effective du code, des modèles et des données, puis de reproductions indépendantes sur d'autres plateformes. Ce sont elles qui diront si le transfert humain vers robot résiste hors du cadre des auteurs.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

PHUMA : un jeu de données pour la locomotion fiable des robots humanoïdes

Une équipe de chercheurs du laboratoire DAVIAN a publié en juin 2026 PHUMA (Physically Reliable HUMAnoid locomotion dataset), un corpus de 73 heures de données de locomotion humanoide produit via un pipeline en deux étapes : une curation physiquement consciente suivie d'un retargeting contraint par des lois physiques. La base de données agrège à la fois des données de motion capture traditionnelles et des vidéos issues d'internet, les deux étant traitées pour éliminer les artefacts physiques récurrents dans les datasets existants, notamment le flottement, la pénétration géométrique et le foot skating. Entraînées sur PHUMA, les politiques de contrôle obtiennent des taux de succès supérieurs à ceux obtenus avec AMASS et Humanoid-X sur les benchmarks de motion tracking standards, et transfèrent en zero-shot vers un Unitree G1 réel. Le code et les données sont disponibles publiquement via davian-robotics.github.io/PHUMA. Le principal verrou que PHUMA prétend lever est la qualité physique des données d'entraînement pour l'imitation de mouvement humanoide. Les approches par imitation sont attractives parce qu'elles permettent d'acquérir des comportements naturels sans reward engineering fastidieux, mais leur efficacité dépend directement de la cohérence physique des données sources. Les artefacts présents dans les datasets basés sur des vidéos internet (comme Humanoid-X) se propagent dans les politiques entraînées, produisant des robots qui glissent ou oscillent de façon instable. La démonstration de transfert zero-shot sur un Unitree G1 physique est le point le plus concret : elle suggère que le filtrage physique en amont réduit effectivement le sim-to-real gap, sans fine-tuning additionnel sur hardware. Reste à qualifier l'ampleur du gain : les métriques de benchmarks internes ne se substituent pas à des comparaisons en conditions réelles standardisées. AMASS, publié en 2019, est resté longtemps la référence en motion capture humanoide, mais sa taille limitée et son coût d'acquisition ont freiné la scalabilité des approches data-driven. Humanoid-X a tenté de combler ce vide en exploitant des vidéos YouTube à grande échelle, au prix d'une dégradation qualitative. PHUMA s'inscrit dans une dynamique plus large où plusieurs équipes cherchent à constituer des datasets de locomotion humanoide à la fois volumineux et physiquement valides, en parallèle des travaux de Figure AI (Figure 03), Boston Dynamics, et des équipes derrière GR00T N2 chez NVIDIA. La prochaine étape logique serait de tester PHUMA sur d'autres plateformes humanoïdes commerciales (H1, Digit) et d'élargir les tâches au-delà de la locomotion simple vers la manipulation en déplacement.

UELe dataset PHUMA étant en accès libre, les équipes de recherche européennes en locomotion humanoïde (INRIA, CEA-List, LAAS-CNRS) peuvent l'intégrer directement dans leurs pipelines d'entraînement sans coût d'acquisition.

RecherchePaper

1 source