Aller au contenu principal
HAF : adapter des VLA généralistes à la loco-manipulation corps entier humanoïde par flux d'action hiérarchique et RL latent spectralIllustration générée par IA
RecherchearXiv cs.RO 

HAF : adapter des VLA généralistes à la loco-manipulation corps entier humanoïde par flux d'action hiérarchique et RL latent spectral

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de recherche a publié le 18 août 2026 sur arXiv (arXiv:2608.16837v1) HAF (Humanoid Adaptation Framework), un système en deux modules destiné à adapter des modèles génératifs vision-langage-action (VLA) déjà entraînés au pilotage complet d'un robot humanoïde, locomotion, posture du buste et manipulation bimanuelle comprises. Le premier module, HAF-VLA, s'appuie sur un modèle VLA pré-entraîné à flow-matching et découpe le débruitage de l'action corps entier en trois étapes successives, reliées par des caches clé-valeur qui préservent les dépendances cinématiques entre les segments du corps, là où une génération en un seul bloc produit des mouvements incohérents. Par-dessus ce module gelé, HAF-Steer applique un apprentissage par renforcement hors ligne puis en ligne: il exploite l'inversibilité du flow-matching et une réduction de dimension par transformée en cosinus discrète pour confiner l'optimisation à un sous-espace de bruit compact, avant d'entraîner une politique SAC régularisée. Testé sur sept tâches réelles de loco-manipulation humanoïde, HAF dépasse les architectures VLA à étage unique classiques en coordination corps entier, avec un site de démonstration à grange007.github.io/HAF.

L'enjeu dépasse la prouesse technique: les VLA généralistes, entraînés surtout sur des bras fixes ou mobiles, butent sur la haute dimensionnalité et l'interdépendance des mouvements dès qu'il s'agit de piloter un corps humanoïde entier. En évitant de réentraîner l'intégralité du gros modèle VLA, HAF réduit le coût de calcul et le risque de l'exploration en ligne sur un robot réel, un point sensible pour tout intégrateur visant un déploiement en usine ou en environnement humain. Les résultats, obtenus sur seulement sept tâches en conditions de laboratoire, restent toutefois un signal de faisabilité plutôt qu'une preuve de généralisation à grande échelle.

Ce travail s'inscrit dans la lignée des modèles VLA à flow-matching type Pi-0, GR00T N2 ou Helix, conçus d'abord pour des bras ou robots à roues plutôt que pour la bipédie complète, et plusieurs laboratoires cherchent en parallèle à combler cet écart. HAF reste à ce stade une contribution académique assortie d'un site de démonstration, sans partenaire industriel ni calendrier de déploiement annoncé; la suite attendue est la publication du code et des poids, puis une validation sur davantage de plateformes avant toute reprise par des acteurs commerciaux.

À lire aussi

Uni-VLaT : adaptation tactile du corps entier des politiques VLA pour la loco-manipulation humanoïde
Illustration générée par IA
1arXiv cs.RO 

Uni-VLaT : adaptation tactile du corps entier des politiques VLA pour la loco-manipulation humanoïde

Des chercheurs publient Uni-VLaT, une méthode qui greffe un sens du toucher distribué sur tout le corps à des politiques VLA (vision-langage-action) préentraînées pour piloter un humanoïde en loco-manipulation. Le principe est d'ajouter une voie tactile dont l'état latent n'est pas seulement entraîné à produire des actions, mais aussi à prédire les représentations tactiles, proprioceptives et visuelles futures. Ce second objectif construit un contexte multimodal ancré dans le tactile. Les auteurs testent le système sur cinq tâches réelles : locomotion déclenchée par le toucher, interaction physique prolongée, contact avec un humain et loco-manipulation. Le taux de réussite moyen atteint 75 %, soit 43 points de plus qu'une base sans entrée tactile et 7 points de plus qu'une base tactile sans supervision prédictive. Sur deux architectures VLA préentraînées, le balayage de table gagne 30 points sur chacune, et la tâche « Back-Tap Walking » (marcher en réponse à une tape dans le dos) progresse de 85 à 90 points. Les ablations indiquent que la prédiction tactile contextualisée et les cibles futures absolues sont déterminantes. L'enjeu est de combler un angle mort des VLA actuels, qui reposent sur la vision et la proprioception. Quand la zone de contact est masquée, par exemple un bras qui frotte une surface ou une main humaine posée sur le dos, ces deux signaux ne suffisent pas à caractériser l'interaction. Contrairement aux capteurs de force ou de couple placés en quelques points prédéfinis, une peau tactile distribuée conserve la cartographie spatiale du contact sur tout le corps. Le résultat le plus parlant pour un intégrateur est la distinction entre simple ajout d'un capteur et apprentissage prédictif : la modalité brute apporte 36 points sur les 43 gagnés, mais la supervision prédictive rend la fusion plus robuste. Cela suggère que les politiques généralistes peuvent être étendues à de nouvelles modalités sans repartir de zéro, un point utile pour la cobotique humanoïde en contact avec des opérateurs. Les limites sont nettes : cinq tâches seulement, un robot de laboratoire, aucun chiffre sur les temps de cycle, la robustesse à long terme ou la durabilité des capteurs. Ce n'est ni un produit ni un déploiement. Ce travail s'inscrit dans la montée en puissance des modèles VLA pour humanoïdes, dont Pi-0, GR00T ou Helix, pour l'essentiel centrés sur la vision, le langage et la proprioception. Le tactile reste le parent pauvre de ces architectures, freiné par le coût, la fragilité et le câblage des peaux électroniques. La question d'une sensibilité corps entier concerne aussi des acteurs européens comme Wandercraft ou Enchanted Tools, dont les robots opèrent près des humains, même si l'article ne cite aucun partenaire industriel. Les prochaines étapes probables sont une validation sur davantage de plateformes et de capteurs, puis une comparaison avec des approches de contrôle en force, avant tout transfert industriel.

RecherchePaper
1 source
Vers un modèle généraliste de locomanipulation humanoïde par préentraînement sur des données humaines égocentriques du corps entier
Illustration générée par IA
2arXiv cs.RO 

Vers un modèle généraliste de locomanipulation humanoïde par préentraînement sur des données humaines égocentriques du corps entier

Des chercheurs publient λ0, une politique vision-langage-action (VLA) pour humanoïde qui pilote l'ensemble du corps, c'est-à-dire la locomotion, la posture, la manipulation à deux mains et les mouvements de doigts. Le travail repose sur HumanVerse-500, un jeu de données de 500 heures de comportements humains de locomanipulation en environnements ouverts. Il a été collecté avec un système portable léger qui synchronise la vidéo égocentrique avec les mouvements du corps et des mains. L'entraînement se fait en trois étapes. La première apprend l'interaction à partir de jeux de données égocentriques variés. La deuxième coordonne corps et mains grâce à HumanVerse-500. La troisième adapte la politique à des tâches et à des robots précis. λ0 apprend un espace de représentation commun pour transférer l'expérience humaine, tandis que des interfaces propres à chaque domaine gèrent les écarts entre états et actions de l'humain et du robot. L'évaluation porte sur le benchmark SIMPLE et sur quatre tâches réelles de locomanipulation. Les auteurs revendiquent des performances « état de l'art » et analysent aussi le comportement à l'échelle, la généralisation et l'apport de chaque étape. Ils annoncent la publication du code, des modèles et des données. L'article précise toutefois ni le robot utilisé, ni les taux de réussite, ni les concurrents comparés. L'enjeu est le coût de la donnée. Les vidéos égocentriques sont abondantes mais couvrent mal le mouvement du corps entier et sa coordination avec la manipulation. La téléopération d'humanoïdes produit la bonne donnée, mais elle est chère et difficile à passer à l'échelle. Cette étude teste une voie médiane : capter des humains équipés de capteurs légers, puis transférer vers le robot. Si les résultats tiennent, la collecte de démonstrations par téléopération deviendrait moins déterminante, et la capacité à capter du mouvement humain en conditions réelles le deviendrait davantage. Pour un intégrateur, cela pourrait réduire le coût d'adaptation à une nouvelle tâche ou à un nouveau robot, ce que la troisième étape cherche à démontrer. Il faut rester prudent : quatre tâches réelles, sans taux de réussite publiés dans le résumé, restent une base étroite. Le « état de l'art » dépend entièrement des références choisies. L'écart entre démonstration de laboratoire et déploiement industriel n'est pas traité ici. Ce travail s'inscrit dans le mouvement des modèles fondation pour humanoïdes. Les VLA de type Pi-0, GR00T ou Helix ont d'abord ciblé des bras et des mains, avant de s'étendre au corps entier. En parallèle, le pré-entraînement sur vidéo humaine devient une piste majeure pour contourner la rareté des données robotiques. Les acteurs industriels qui ont leurs propres flottes de téléopération, comme Tesla, Figure ou Agility, ont un avantage en données propriétaires, que des corpus ouverts comme HumanVerse-500 pourraient réduire pour les laboratoires académiques et les petites équipes, y compris en Europe. La suite dépend de la publication effective du code, des modèles et des données, puis de reproductions indépendantes sur d'autres plateformes. Ce sont elles qui diront si le transfert humain vers robot résiste hors du cadre des auteurs.

RecherchePaper
1 source
SP-HLM : génération de mouvements pilotée par poses éparses et contrôle du corps entier pour la loco-manipulation humanoïde
Illustration générée par IA
3arXiv cs.RO 

SP-HLM : génération de mouvements pilotée par poses éparses et contrôle du corps entier pour la loco-manipulation humanoïde

Des chercheurs proposent SP-HLM, un cadre logiciel pour la loco-manipulation humanoïde (marcher et manipuler des objets simultanément), publié sur arXiv en octobre 2026. L'idée centrale est une interface « à poses éparses » entre la politique de haut niveau et le contrôle du corps entier. Cinq poses corporelles critiques pour la tâche expriment l'intention spatiale, et un a priori de mouvement latent appris porte la coordination du corps entier. Quatre modules s'enchaînent. SP-VLA, un modèle vision-langage-action, prédit les poses éparses et les positions des articulations des doigts à partir d'observations multimodales et d'instructions en langage naturel, avec une inférence asynchrone par blocs d'actions (action chunks). SP-MGM, un modèle de génération de mouvement entraîné par distillation en deux étapes, reconstruit en temps réel un mouvement complet et cohérent à partir de ces cibles. Un encodeur de mouvement pré-entraîné compresse ce mouvement en représentation latente. SP-GMT, un tracker de mouvement généraliste, fusionne enfin les cibles explicites et cet a priori implicite pour piloter le corps entier. Les essais portent sur des simulations et sur un humanoïde réel, avec de meilleurs résultats annoncés en suivi de mouvement, en coordination et en taux de réussite. L'extrait disponible ne donne ni chiffres, ni nom de robot, ni liste des méthodes de comparaison. L'intérêt tient à un point de friction connu des architectures VLA pour humanoïdes. Soit la politique de haut niveau sort des actions articulaires de bas niveau, ce qui la surcharge, soit elle sort des cibles trop pauvres (par exemple la seule position des mains), ce qui laisse le corps sous-spécifié et produit des postures peu naturelles ou instables. Séparer l'intention, portée par les poses explicites, de la coordination, portée par l'a priori latent, est une réponse d'architecture plausible. Si les gains se confirment, un VLA pourrait rester léger tout en pilotant un contrôleur whole-body robuste, ce qui faciliterait l'intégration de ces briques chez les intégrateurs. Il faut rester prudent. Il s'agit d'un préprint non évalué par des pairs. Les résultats sur « un » robot réel ne disent rien de la robustesse sur des cycles longs, en environnement non contrôlé, ni de la comparaison à budget de calcul équivalent. Rien n'est annoncé sur la disponibilité du code ou des modèles, au-delà d'une page projet avec des vidéos, dont la sélection reste à nuancer. Ce travail s'inscrit dans la course à une pile « VLA plus contrôleur corps entier » pour humanoïdes. Des approches comme Helix de Figure, GR00T de NVIDIA ou les modèles Pi de Physical Intelligence partagent la même logique de hiérarchie entre planification et contrôle, avec des interfaces différentes. Le suivi de mouvement généraliste, popularisé par les travaux sur la rétro-cinématique apprise et les politiques entraînées en simulation puis transférées au réel (sim-to-real), sert ici de socle. SP-HLM est un résultat de recherche académique, sans calendrier de déploiement ni partenaire industriel annoncé. La suite probable est une validation sur davantage de tâches et de plateformes, puis une éventuelle ouverture du code, qui permettra à la communauté de vérifier la reproductibilité.

RecherchePaper
1 source
OmniContact : enchaînement de méta-compétences par flux de contact pour la loco-manipulation humanoïde généralisable
Illustration générée par IA
4arXiv cs.RO 

OmniContact : enchaînement de méta-compétences par flux de contact pour la loco-manipulation humanoïde généralisable

Des chercheurs ont publié le 26 juin 2026 sur arXiv (réf. 2606.26201) un framework hiérarchique baptisé OmniContact, conçu pour enchaîner des séquences complexes de locomotion et manipulation sur des humanoïdes. Le coeur du système est une représentation intermédiaire appelée "contact flow" (CF): trajectoires corporelles clés et signaux binaires de contact en série temporelle. Deux modules s'appuient dessus, CF-Track (politique bas-niveau, bibliothèque de compétences unifiée) et CF-Gen (planificateur haut-niveau heuristique qui synthétise les séquences futures). En simulation, les résultats annoncés atteignent 98,7% de succès sur la tâche "Carry Box" et 76,5% sur "Push-Stack Boxes", soit respectivement +40,9% et +66,5% face aux baselines sur l'exécution de méta-compétences et leur enchaînement. Le dataset OmniContact, constitué via capture de mouvement (MoCap) d'interactions humain-objet, supporte l'entraînement. Le vrai défi des humanoïdes industriels n'est pas l'exécution d'un geste unitaire mais l'enchaînement robuste de séquences longues avec récupération autonome en cas de défaillance, ce verrou précis que OmniContact cible. Le système propose une interface structurée lisible par le planificateur haut-niveau, une voie médiane entre représentations explicites trop rigides pour la planification et embeddings implicites trop opaques pour la composition fiable. L'intégration avec des VLMs (Vision-Language Models) permettrait des instructions en langage naturel converties en séquences de contact flows, comme l'illustre la démonstration d'arrangement de boîtes en forme de coeur. Nuance importante: toutes les métriques publiées sont issues de conditions contrôlées en laboratoire, sans validation sur hardware physique ni déploiement industriel réel, ce qui laisse entier le problème du sim-to-real. La loco-manipulation longue horizon est devenu le benchmark officieux du secteur humanoïde en 2025-2026. Figure AI (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (pi0) et Boston Dynamics s'affrontent sur des tâches de plus en plus généralisables, tandis que NVIDIA pousse GR00T N2 comme couche de policy universelle. OmniContact vient du monde académique, sans entreprise identifiée derrière ce preprint, mais son approche par contact flow s'inscrit dans la tendance des représentations intermédiaires structurées, en parallèle des architectures VLA à diffusion. La collecte MoCap dédiée aux interactions humain-objet sur humanoïdes confirme que les données de référence restent un goulot d'étranglement même quand la simulation abonde. La prochaine étape déterminante sera le transfert sur un humanoïde physique, condition sine qua non pour que ce framework passe du laboratoire au hangar.

RecherchePaper
1 source