RecherchearXiv cs.RO 16 septembre 2026

WholeBodyWAM : généraliser les modèles monde-action préentraînés à la loco-manipulation humanoïde par coordination ancrée au WBC

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente WholeBodyWAM dans un preprint publié sur arXiv (2609.16644v1), un modèle monde-action (World Action Model, WAM) conçu pour la loco-manipulation des robots humanoïdes, c'est-à-dire la coordination simultanée de la locomotion et de la manipulation par un contrôle corps entier. Le système prédit conjointement la dynamique visuelle future, les actions de manipulation et les intentions de contrôle corps entier (whole-body control, WBC), tout en préservant les priors monde-action issus d'un pré-entraînement et en les ancrant dans la sémantique hétérogène de différents contrôleurs WBC. Les expériences rapportées affichent un taux de réussite global de 91,9% en simulation, une progression de tâche améliorée de 0,23 point en conditions réelles hors distribution, et une réduction de 70% de la variance du taux de réussite selon le contrôleur WBC utilisé, par rapport aux baselines respectives. Aucun nom d'entreprise, de robot physique commercial ni de site de déploiement n'est mentionné : il s'agit d'un travail de recherche présenté via une page projet (wholebodywam.github.io), pas d'un produit livré.

Ce résultat cible un point aveugle du secteur : la plupart des WAM existants, tels que Pi-0, GR00T N2 ou Helix, se concentrent sur la manipulation de table ou centrée sur le bras, laissant de côté la coordination corps entier propre aux humanoïdes bipèdes. En montrant qu'il est possible d'étendre des priors monde-action pré-entraînés à la loco-manipulation via un ancrage structuré du WBC, plutôt que de réapprendre le comportement corps entier depuis zéro, les auteurs proposent une voie de mise à l'échelle moins coûteuse pour les intégrateurs et laboratoires qui doivent faire fonctionner un même modèle fondation sur plusieurs architectures de contrôleurs. La réduction de variance entre WBC est particulièrement pertinente pour les décideurs B2B : elle suggère une meilleure robustesse et portabilité d'un modèle généraliste face à la fragmentation des piles de contrôle corps entier utilisées par les différents fabricants d'humanoïdes.

Le travail s'inscrit dans la lignée des modèles monde-action apparus ces deux dernières années pour la manipulation robotique généraliste, portée notamment par des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix), majoritairement testés sur bras robotiques ou plateformes fixes. WholeBodyWAM cible spécifiquement le segment moins exploré de la loco-manipulation humanoïde complète. Les résultats restent à ce stade des mesures de simulation et de tests hors distribution limités, sans indication de calendrier de déploiement, de partenariat industriel ou de transfert vers une plateforme commerciale précise.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

HAF : adapter des VLA généralistes à la loco-manipulation corps entier humanoïde par flux d'action hiérarchique et RL latent spectral

Une équipe de recherche a publié le 18 août 2026 sur arXiv (arXiv:2608.16837v1) HAF (Humanoid Adaptation Framework), un système en deux modules destiné à adapter des modèles génératifs vision-langage-action (VLA) déjà entraînés au pilotage complet d'un robot humanoïde, locomotion, posture du buste et manipulation bimanuelle comprises. Le premier module, HAF-VLA, s'appuie sur un modèle VLA pré-entraîné à flow-matching et découpe le débruitage de l'action corps entier en trois étapes successives, reliées par des caches clé-valeur qui préservent les dépendances cinématiques entre les segments du corps, là où une génération en un seul bloc produit des mouvements incohérents. Par-dessus ce module gelé, HAF-Steer applique un apprentissage par renforcement hors ligne puis en ligne: il exploite l'inversibilité du flow-matching et une réduction de dimension par transformée en cosinus discrète pour confiner l'optimisation à un sous-espace de bruit compact, avant d'entraîner une politique SAC régularisée. Testé sur sept tâches réelles de loco-manipulation humanoïde, HAF dépasse les architectures VLA à étage unique classiques en coordination corps entier, avec un site de démonstration à grange007.github.io/HAF. L'enjeu dépasse la prouesse technique: les VLA généralistes, entraînés surtout sur des bras fixes ou mobiles, butent sur la haute dimensionnalité et l'interdépendance des mouvements dès qu'il s'agit de piloter un corps humanoïde entier. En évitant de réentraîner l'intégralité du gros modèle VLA, HAF réduit le coût de calcul et le risque de l'exploration en ligne sur un robot réel, un point sensible pour tout intégrateur visant un déploiement en usine ou en environnement humain. Les résultats, obtenus sur seulement sept tâches en conditions de laboratoire, restent toutefois un signal de faisabilité plutôt qu'une preuve de généralisation à grande échelle. Ce travail s'inscrit dans la lignée des modèles VLA à flow-matching type Pi-0, GR00T N2 ou Helix, conçus d'abord pour des bras ou robots à roues plutôt que pour la bipédie complète, et plusieurs laboratoires cherchent en parallèle à combler cet écart. HAF reste à ce stade une contribution académique assortie d'un site de démonstration, sans partenaire industriel ni calendrier de déploiement annoncé; la suite attendue est la publication du code et des poids, puis une validation sur davantage de plateformes avant toute reprise par des acteurs commerciaux.

RechercheOpinion

1 source

2arXiv cs.RO

OmniContact : enchaînement de méta-compétences par flux de contact pour la loco-manipulation humanoïde généralisable

Des chercheurs ont publié le 26 juin 2026 sur arXiv (réf. 2606.26201) un framework hiérarchique baptisé OmniContact, conçu pour enchaîner des séquences complexes de locomotion et manipulation sur des humanoïdes. Le coeur du système est une représentation intermédiaire appelée "contact flow" (CF): trajectoires corporelles clés et signaux binaires de contact en série temporelle. Deux modules s'appuient dessus, CF-Track (politique bas-niveau, bibliothèque de compétences unifiée) et CF-Gen (planificateur haut-niveau heuristique qui synthétise les séquences futures). En simulation, les résultats annoncés atteignent 98,7% de succès sur la tâche "Carry Box" et 76,5% sur "Push-Stack Boxes", soit respectivement +40,9% et +66,5% face aux baselines sur l'exécution de méta-compétences et leur enchaînement. Le dataset OmniContact, constitué via capture de mouvement (MoCap) d'interactions humain-objet, supporte l'entraînement. Le vrai défi des humanoïdes industriels n'est pas l'exécution d'un geste unitaire mais l'enchaînement robuste de séquences longues avec récupération autonome en cas de défaillance, ce verrou précis que OmniContact cible. Le système propose une interface structurée lisible par le planificateur haut-niveau, une voie médiane entre représentations explicites trop rigides pour la planification et embeddings implicites trop opaques pour la composition fiable. L'intégration avec des VLMs (Vision-Language Models) permettrait des instructions en langage naturel converties en séquences de contact flows, comme l'illustre la démonstration d'arrangement de boîtes en forme de coeur. Nuance importante: toutes les métriques publiées sont issues de conditions contrôlées en laboratoire, sans validation sur hardware physique ni déploiement industriel réel, ce qui laisse entier le problème du sim-to-real. La loco-manipulation longue horizon est devenu le benchmark officieux du secteur humanoïde en 2025-2026. Figure AI (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (pi0) et Boston Dynamics s'affrontent sur des tâches de plus en plus généralisables, tandis que NVIDIA pousse GR00T N2 comme couche de policy universelle. OmniContact vient du monde académique, sans entreprise identifiée derrière ce preprint, mais son approche par contact flow s'inscrit dans la tendance des représentations intermédiaires structurées, en parallèle des architectures VLA à diffusion. La collecte MoCap dédiée aux interactions humain-objet sur humanoïdes confirme que les données de référence restent un goulot d'étranglement même quand la simulation abonde. La prochaine étape déterminante sera le transfert sur un humanoïde physique, condition sine qua non pour que ce framework passe du laboratoire au hangar.

RecherchePaper

1 source

3arXiv cs.RO

GRAIL : génération de loco-manipulation pour humanoïdes à partir d'actifs 3D et de vidéos

Une équipe de chercheurs publie GRAIL (Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors, arXiv:2606.05160), un pipeline entièrement virtuel qui génère des données d'entraînement en loco-manipulation humanoïde sans télé-opération ni capture de mouvement physique. La méthode compose des actifs 3D paramétrés, des scènes simulées et des modèles fondamentaux vidéo (VFM) pour reconstruire des trajectoires d'interaction humain-objet (HOI) en 4D à l'échelle métrique, en conditionnant la génération vidéo sur des configurations entièrement spécifiées : géométrie, paramètres caméra, profondeur de scène et personnage aux proportions humanoïdes, ce qui réduit l'ambiguïté de profondeur et le mismatch morphologique habituels. Le pipeline produit plus de 20 000 séquences couvrant ramassage d'objets, manipulation, assise et traversée de terrains variés. Entraîné uniquement sur ces données synthétiques via un pipeline sim-to-real, le système atteint 84 % de succès en préhension d'objets divers et 90 % en montée d'escaliers sur un Unitree G1 en conditions réelles ; l'article, soumis sur arXiv en juin 2026, est une prépublication non encore évaluée par les pairs. Ce travail s'attaque au principal goulot d'étranglement de la robotique humanoïde : générer des données de démonstration diversifiées à grande échelle sans mobiliser de temps-robot ni d'opérateurs spécialisés. La télé-opération et la mocap exigent des configurations physiques dédiées et un robot disponible à chaque session, ce qui plafonne le débit de production de données ; GRAIL déplace intégralement ce coût vers la simulation, rendant possible la composition de données pour des objets, scènes et mouvements corporels inédits. Les résultats de 84 % et 90 % en conditions réelles constituent un signal positif sur la réduction du gap sim-to-real, du moins pour ces classes de tâches. Une réserve s'impose cependant : le résumé ne détaille ni les objets testés ni le protocole de sélection des séquences d'évaluation, ce qui rend toute comparaison indépendante prématurée avant la publication complète. GRAIL s'inscrit dans une course à la donnée synthétique que se livrent les principaux laboratoires de robotique humanoïde, aux côtés des pipelines World Model de Figure AI et 1X Technologies, de RoboVerse (Microsoft Research) et des environnements Genesis pour la simulation physique générative. La distinction de GRAIL réside dans le conditionnement fort sur des actifs 3D préalables, un choix qui améliore la précision de la reconstruction 4D mais suppose la disponibilité d'assets de qualité pour chaque objet cible. Le robot retenu, l'Unitree G1, est commercialisé autour de 16 000 dollars, rendant la reproduction des résultats accessible à de nombreuses équipes académiques, contrairement aux plateformes propriétaires des acteurs industriels. Les affiliations des auteurs ne figurant pas dans le résumé arXiv disponible, les suites naturelles annoncées comprennent les tâches bimanuelles, les environnements dynamiques et l'intégration dans des pipelines VLA (Vision-Language-Action) pour la généralisation à des objets et contextes non vus lors de l'entraînement.

UELes laboratoires académiques européens spécialisés en robotique humanoïde (INRIA, CEA-List) pourraient adopter ce pipeline de génération de données synthétiques pour réduire leur dépendance à la télé-opération et à la mocap, mais aucun acteur FR/UE n'est directement impliqué dans ces travaux.

RecherchePaper

1 source

4arXiv cs.RO

Robust-WAM : concilier préentraînement génératif et anticipation sémantique dans les modèles monde-action

Des chercheurs présentent Robust-WAM, une méthode de post-entraînement destinée aux World-Action Models (WAM), ces modèles qui adaptent des générateurs vidéo pré-entraînés (VGM) pour prédire les actions d'un robot à partir de flux visuels. Le papier, publié sur arXiv sous la référence 2608.05903v1, part d'un constat technique précis: la plupart des WAM s'appuient sur un espace latent de variational autoencoder (VAE), optimisé pour la reconstruction pixel par pixel, ce qui rend la prédiction d'actions fragile dès que l'apparence visuelle change (éclairage, texture, angle de caméra). Des travaux récents avaient contourné le problème en construisant des WAM dans un espace latent sémantique, plus robuste aux变... aux variations d'apparence, mais incapables de profiter du pré-entraînement à grande échelle réalisé uniquement dans l'espace VAE. Robust-WAM propose de garder le chemin génératif basé VAE tout en ajoutant un objectif léger d'alignement sémantique prospectif sur le flux d'actions: des tokens de requête apprenables captent la sémantique des scènes futures en alignant leurs états cachés sur les représentations sémantiques des images futures réelles, avec un encodage positionnel calé sur les tokens d'action correspondants pour garantir la correspondance temporelle. L'enjeu dépasse la seule prouesse technique. Les modèles VLA et WAM affichent souvent de bonnes performances en conditions contrôlées mais se dégradent nettement face à des variations visuelles hors distribution, un frein connu au déploiement industriel de robots hors laboratoire. En montrant qu'on peut conserver les bénéfices du pré-entraînement massif sur vidéo tout en gagnant en robustesse, sans sacrifier les performances en distribution, ce travail répond directement à l'écart souvent pointé entre démonstrations impressionnantes et fiabilité réelle sur le terrain. Robust-WAM s'inscrit dans la lignée des travaux qui détournent les modèles de génération vidéo grand public vers le contrôle robotique, plutôt que de concevoir des architectures dédiées. Il se positionne comme une brique de post-entraînement compatible avec plusieurs WAM existants, testée sur des benchmarks de simulation hors distribution et sur un banc robotique réel, avec des gains de taux de réussite constatés sur plusieurs modèles de référence.

RechercheActu

1 source