RecherchearXiv cs.RO 9 novembre 2026

Open-HumanWAM : une recette ouverte pour passer à l'échelle l'expérience humaine et robotique des modèles fondation incarnés

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Open-HumanWAM, publié sur arXiv (2611.06817v2), propose la première recette entièrement ouverte pour passer le préentraînement égocentrique à 50 000 heures. Son socle est Open-HumanWAM-50K, un corpus de vidéos égocentriques humaines annoté de façon dense avec les mouvements de la main et du langage naturel. Les auteurs y entraînent HumanWAM-Vanilla, un modèle monde-action (WAM) préentraîné uniquement sur ces 50 000 heures de vidéo humaine. Après post-entraînement sur robot, il atteint 92,08 % de réussite sur RoboTwin 2.0 en Clean2Clean et 68,88 % en Clean2Random, ainsi que 14,17 % de réussite moyenne et un score de progression moyen de 19,00 sur RoboDojo. Une seconde variante, HumanWAM-Goal, conditionnée par des buts visuels et préentraînée conjointement sur données humaines et robot, monte à 92,70 % en Clean2Clean et 84,60 % en Clean2Random sur RoboTwin 2.0, ce que les auteurs présentent comme un nouvel état de l'art. Sur robots physiques, elle adapterait son comportement à des buts visuels inédits sans mise à jour de paramètres.

L'intérêt tient d'abord au saut de généralisation: en Clean2Random, qui teste la robustesse à des scènes perturbées, le score passe de 68,88 % à 84,60 % grâce aux données hybrides, alors que l'écart entre les deux variantes reste minime en Clean2Clean. Les auteurs relèvent aussi une loi d'échelle empirique log-linéaire entre les heures de préentraînement et le taux de succès robot, mesurée en simulation en boucle fermée. Pour un décideur, cela donne une base chiffrée pour arbitrer entre collecte coûteuse de téléopération et vidéo humaine bon marché. Des réserves s'imposent: RoboTwin est un benchmark simulé, les 14,17 % sur RoboDojo restent faibles en valeur absolue, et l'apprentissage en contexte sur robot réel est décrit sans chiffres dans le résumé. Le code, le corpus, les pipelines de curation et d'entraînement, les points de contrôle préentraînés et post-entraînés ainsi que les suites d'évaluation sont publiés, ce qui permet une vraie reproduction, rare dans un domaine où les jeux de données restent souvent propriétaires.

Le travail s'inscrit dans la course aux modèles de fondation incarnés, où les approches VLA (vision-langage-action) comme Pi-0 ou GR00T N2 dominent, tandis que Figure avec Helix et Tesla pour Optimus misent sur la vidéo humaine et leurs propres flottes de données, sans publier leurs corpus. Les modèles monde-action prédisent l'évolution visuelle de la scène en plus des actions, une piste concurrente des VLA purs. Les suites logiques sont des réplications indépendantes du scaling law au-delà de 50 000 heures, des tests sur davantage de plateformes physiques et des comparaisons directes avec les VLA sur des tâches industrielles. Le résumé ne cite aucun partenaire industriel ni aucun calendrier de déploiement, et il s'agit à ce stade d'une publication de recherche, sans produit commercial.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Modèle fondation à l'échelle pour robots humanoïdes

Une nouvelle publication arXiv (2607.15163v1, soumission de type "new") propose un modèle de fondation comportemental (Behavior Foundation Model, BFM) pour le contrôle de robots humanoïdes, baptisé Humanoid Transformer. Les auteurs affirment avoir identifié la recette manquante pour faire monter en puissance ces modèles, en coordonnant trois leviers : un nouveau paradigme d'apprentissage qui reformule le contrôle humanoïde comme la reproduction de comportements corporels intégrés dans le référentiel global plutôt que local ; un équilibrage stratégique entre le volume de déploiements en ligne (on-policy rollouts) et la diversité des mouvements de référence utilisés à l'entraînement ; et l'architecture Humanoid Transformer elle-même, conçue pour faire émerger naturellement des représentations structurées du comportement. Testée à la fois en simulation et en conditions réelles, l'approche réduit l'erreur moyenne par point clé (Mean Per-Keypoint Position Error, MPKPE) de plus de 10% en mode local et de 82% en mode global par rapport aux contrôleurs humanoïdes existants. Ce travail répond à un flou méthodologique réel du secteur : malgré l'engouement croissant pour les BFM comme brique de base des agents incarnés généralistes, personne n'avait jusqu'ici établi de façon rigoureuse comment coordonner données, architecture et paradigme d'entraînement pour obtenir un gain de performance qui tienne la route au passage à l'échelle. Le saut de 82% en mode global est le chiffre qui compte vraiment pour les intégrateurs : c'est la capacité à maintenir une cohérence corporelle dans le référentiel monde, condition nécessaire pour des tâches où le robot doit coordonner déplacement et manipulation sans dérive, un point faible classique des contrôleurs entraînés uniquement en référentiel local. Si les résultats se confirment à plus grande échelle, ils renforcent l'hypothèse que le contrôle humanoïde généraliste peut suivre une trajectoire de scaling comparable à celle des grands modèles de langage, plutôt que de rester cantonné à des politiques spécialisées par tâche. L'article s'inscrit dans la vague de recherche académique qui a suivi l'essor des politiques vision-langage-action (VLA) et des BFM ces deux dernières années, sans rattacher la méthode à un robot ou un laboratoire commercial précis : il s'agit d'une contribution méthodologique comparée à des "contrôleurs humanoïdes existants" pris comme référence, sans nommer de plateforme physique spécifique. La suite logique serait une validation sur du matériel humanoïde tiers et à plus grande échelle de données, pour confirmer que le gain en mode global se maintient hors du cadre expérimental des auteurs.

RechercheActu

1 source

2arXiv cs.RO

λ₀ : passage à l'échelle des données égocentriques humaines en milieu ouvert pour la loco-manipulation des robots humanoïdes

Une équipe de chercheurs publie λ0 (lambda-zéro), un modèle fondation pour la loco-manipulation de robots humanoïdes (manipulation combinée à la locomotion, corps entier), accompagné de HumanVerse, un jeu de données de 500 heures de vidéo égocentrique. Ces vidéos, tournées en environnements ouverts, sont synchronisées avec les mouvements du corps et des mains. Le pipeline aligne les points de vue de caméra et l'apparence des bras humains sur ceux du robot. Il affine ensuite hors ligne les références de mouvement et les entrées du contrôleur, afin de réduire les erreurs de l'effecteur terminal tout en préservant la coordination du corps entier. Les auteurs l'ont validé par un transfert zero-shot sur un Unitree G1, sur des tâches de manipulation corps entier et de loco-manipulation longue portée, sans aucune démonstration robot sur la tâche cible. Pour λ0, ces données humaines alignées servent de supervision en mi-entraînement. Le modèle atteint 90,0 % de réussite sur le benchmark SIMPLE et 62,5 % sur l'ensemble des tâches réelles de loco-manipulation. Les auteurs précisent que plus on ajoute de données humaines corps entier, plus la progression sur les tâches aval s'améliore. L'intérêt tient au coût de la donnée. Les démonstrations robot par téléopération restent chères et lentes à collecter, et ce goulot limite les modèles vision-langage-action (VLA) actuels. Les corpus humains égocentriques existants omettent souvent la locomotion et la posture, donc l'essentiel de ce qui distingue un humanoïde d'un bras monté sur une base fixe. Montrer qu'une supervision humaine corps entier se transfère, et que la performance croît avec le volume, plaide pour un régime de passage à l'échelle comparable à celui du texte et de l'image. Il faut toutefois lire les chiffres avec prudence. Un taux de 62,5 % en conditions réelles reste loin d'un seuil de déploiement industriel. Le détail des tâches, le nombre d'essais et la comparaison avec des modèles de référence ne figurent pas dans le résumé. Enfin, toutes les validations semblent reposer sur un seul robot, le G1, plateforme de recherche bon marché. Ce travail s'inscrit dans une tendance déjà visible chez les grands acteurs. Les modèles comme Pi-0 de Physical Intelligence, GR00T de NVIDIA ou Helix de Figure misent sur des mélanges de données robot, de simulation et de vidéo humaine, et Tesla vise lui aussi l'apprentissage à partir de vidéos pour Optimus. La spécificité de λ0 est de coupler explicitement perception égocentrique, posture et locomotion, puis de corriger les écarts de morphologie par un traitement hors ligne. Il s'agit ici d'une publication de recherche (arXiv), sans produit ni déploiement commercial annoncé. Les prochaines étapes à surveiller sont la publication éventuelle des données et du code, la reproduction sur d'autres morphologies que le G1, et la confrontation à des tâches industrielles longues.

RecherchePaper

1 source

3arXiv cs.RO

RynnValue : faire passer à l'échelle les modèles fondation de valeur robotique par la distance temporelle

RynnValue s'attaque au goulot d'étranglement des modèles de récompense pour l'apprentissage robotique en remplaçant les ancrages classiques (préférences, progression normalisée) par la distance temporelle : le coût-à-parcourir dirigé entre une observation et un objectif spécifié en langage naturel. Comme ces étiquettes se déduisent directement des horodatages, le modèle open source s'entraîne sur plus de 7 000 heures et environ 3 millions de clips conditionnés par instruction, sans annotation de préférence ni de progression. Trois techniques stabilisent l'apprentissage à cette échelle : échantillonnage temporel aléatoire, mélange de l'ordre temporel et attention à isolation de valeur, qui empêchent le modèle de trouver des raccourcis insensibles aux échecs et régressions. Résultat : un Kendall's tau_a moyen de 0,675 sur le benchmark RBM-EVAL-OOD, devant l'état de l'art entièrement supervisé par préférences (0,655) et plus du double d'un équivalent entraîné uniquement sur la progression (0,292), avec généralisation zero-shot à des tâches, embodiments et points de vue inédits. Converti en récompense dense via un potential-based shaping, il fait grimper le taux de succès de politiques robotiques réelles de 52,5% à 72,5% en ligne, et de 63,8% à 82,5% hors ligne. Pour les intégrateurs et décideurs robotique, ce résultat pèse dans le débat sur le passage à l'échelle des modèles VLA : il suggère qu'un signal de supervision dérivé automatiquement des timestamps peut remplacer l'annotation manuelle coûteuse (préférences, jugements de progression) tout en généralisant mieux à des robots et environnements jamais vus à l'entraînement. C'est une preuve concrète que le goulot d'étranglement des reward models, souvent cité comme frein au reinforcement learning robotique à grande échelle, peut être contourné par un signal purement temporel plutôt que par plus d'annotation humaine. L'amélioration mesurée du taux de succès en conditions réelles, et pas seulement sur benchmark hors ligne, distingue ce travail d'une simple démonstration académique et le rend directement pertinent pour qui cherche à industrialiser des politiques génératives de contrôle robotique. RynnValue s'inscrit dans la lignée des modèles de fondation pour la robotique de type VLA (vision-langage-action), aux côtés d'approches comme Pi-0 ou GR00T N2, qui cherchent toutes à exploiter des corpus hétérogènes multi-embodiments pour généraliser au-delà d'un seul robot ou d'une seule tâche. Contrairement aux méthodes appuyées sur des préférences annotées ou une progression normalisée par tâche, difficilement transférables entre plateformes et sources de données, RynnValue mise sur un signal universel et bon marché à produire. Le fait que le modèle et vraisemblablement son code soient publiés en open source (arXiv, août 2026) facilite sa reproduction et son intégration par des laboratoires tiers pour du reward shaping en apprentissage par renforcement. Les prochaines étapes attendues concernent l'extension à davantage d'embodiments et de tâches en conditions réelles, ainsi que la comparaison avec d'autres modèles de récompense émergents dans un secteur où la fiabilité du reward model conditionne directement la vitesse d'entraînement des politiques.

RecherchePaper

1 source

4arXiv cs.RO

HuGe : passage à l'échelle de modèles vision-langage-action (VLA) généralistes pour humanoïdes grâce à l'expérience égocentrique

Des chercheurs présentent HuGe, une famille de VLA (modèles vision-langage-action) généralistes pour humanoïdes, pré-entraînés sur plus de 2 000 heures de données égocentriques, humaines et robotiques. HuGe ne propose pas de nouvelle architecture. Il réutilise trois architectures VLA existantes, qui prédisent des « tokens de mouvement » latents transmis à un contrôleur du corps entier pré-entraîné, ainsi que des signaux de commande des mains. L'entraînement se fait en trois étapes: pré-entraînement sur données égocentriques, adaptation à l'humanoïde, puis fine-tuning sur la tâche cible. Deux techniques comblent l'écart entre humain et robot. Pendant le pré-entraînement, des états pseudo-proprioceptifs sont reconstruits par rejeu en simulation, car les vidéos humaines n'ont pas de proprioception robot. Pendant le fine-tuning, l'apparence des bras est modifiée par re-rendu pour ressembler à celle du robot. Les auteurs revendiquent l'état de l'art sur le benchmark de simulation HumanoidArena. En réel, sur un Unitree G1, ajouter des démonstrations égocentriques adaptées visuellement aux démonstrations robot augmente nettement le taux de réussite d'une tâche de saisie et dépose (pick-and-drop). L'enjeu est le coût de la donnée. La téléopération d'humanoïdes en corps entier est lente et chère, alors que les vidéos égocentriques humaines se collectent vite et à grande échelle. Si le transfert tient, cela déplace le goulot d'étranglement de la téléopération vers la curation de vidéos. Le découplage entre VLA et contrôleur corps entier, qui assure l'équilibre et la locomotion, réduit aussi la difficulté pour le modèle. Les résultats appellent toutefois à la prudence. L'évaluation réelle porte sur une seule tâche et un seul robot, et le résumé ne donne pas de taux de réussite chiffrés. Le record sur HumanoidArena reste un résultat de simulation, et rien ne prouve encore la généralisation à des tâches de manipulation plus longues ou plus fines. HuGe s'inscrit dans la course aux modèles fondation pour humanoïdes, aux côtés de GR00T de NVIDIA, de Pi-0 de Physical Intelligence ou de Helix de Figure, qui misent surtout sur de la donnée robot et de la simulation. Plusieurs équipes explorent aussi la vidéo humaine comme source d'expérience. Le choix du Unitree G1, plateforme de recherche abordable et très répandue, facilite la reproduction par d'autres laboratoires. Les prochaines étapes à surveiller sont la publication des poids et du code, des évaluations multi-tâches sur plusieurs robots, et la mesure du gain réel en heures de téléopération économisées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source