RecherchearXiv cs.RO 2 novembre 2026

DiffWBC : un contrôle du corps entier par diffusion en une étape pour un suivi de mouvement humanoïde général et pilotable

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

DiffWBC, un contrôleur de suivi de mouvement pour humanoïdes, déplace le contrôle du corps entier vers un paradigme génératif grâce à un modèle de diffusion en une seule étape. Les trackers généraux actuels reposent sur des politiques déterministes, qui ne peuvent pas s'adapter en ligne sans édition fragile des références ou réentraînement coûteux. Ici, le modèle apprend une distribution sur les trajectoires futures et ne demande qu'une passe avant par pas de contrôle à 50 Hz. Il peut être distillé depuis un enseignant entraîné par apprentissage par renforcement (RL), ou entraîné de zéro par RL basé sur modèle. Sur des benchmarks hors entraînement, il obtient l'erreur de suivi locale la plus faible parmi six trackers généraux comparés (20,1 mm sur BONES) et a été déployé sur un Unitree G1 physique. Les auteurs revendiquent aussi un pilotage au moment du test (test-time steering) et une détection d'échecs sans simulation.

Pour les intégrateurs et les équipes de recherche, l'intérêt tient à l'unification de trois fonctions dans un seul contrôleur gelé. Le pilotage s'appuie sur des gradients de coût différentiables et des masques par groupes de membres, qui modulent le contrôleur en ligne sans le réentraîner. Face à l'édition cinématique de la référence, la différence est nette : 0,84 de réussite propre pour franchir un obstacle à 1,25 m de plafond, contre 0,10. La même approche se généralise sans apprentissage supplémentaire aux haies, à l'atteinte spatiale, aux pannes d'actionneurs et à l'équilibrage d'un plateau. Côté fiabilité, la dispersion des plans selon le bruit de génération signale les échecs physiques avec 91 % de précision sur les 2 % de clips les plus suspects, sans lancer de simulation physique. Un réglage fin ciblé sur les clips signalés corrige 50 % des cas d'échec. Il faut toutefois nuancer : il s'agit de résultats de laboratoire, sur un seul robot réel, et les tâches de pilotage restent des scénarios choisis par les auteurs. L'article ne fournit pas de données de déploiement en conditions industrielles.

Ce travail s'inscrit dans la course aux contrôleurs corps entier généralistes pour humanoïdes, où dominent les politiques de suivi déterministes entraînées en simulation puis transférées au réel. Leur rigidité oblige à retoucher les mouvements de référence ou à relancer des entraînements dès que la tâche change. DiffWBC reprend l'idée des politiques de diffusion, déjà répandues en manipulation, et la ramène à une seule étape pour tenir les contraintes de temps réel. La prochaine étape logique serait une validation sur d'autres plateformes que le G1 et sur des tâches de longue durée. Des vidéos et des démonstrations interactives sont publiées par les auteurs sur leur site dédié, diffwbc.github.io.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Unitree

À lire aussi

1arXiv cs.RO

SP-HLM : génération de mouvements pilotée par poses éparses et contrôle du corps entier pour la loco-manipulation humanoïde

Des chercheurs proposent SP-HLM, un cadre logiciel pour la loco-manipulation humanoïde (marcher et manipuler des objets simultanément), publié sur arXiv en octobre 2026. L'idée centrale est une interface « à poses éparses » entre la politique de haut niveau et le contrôle du corps entier. Cinq poses corporelles critiques pour la tâche expriment l'intention spatiale, et un a priori de mouvement latent appris porte la coordination du corps entier. Quatre modules s'enchaînent. SP-VLA, un modèle vision-langage-action, prédit les poses éparses et les positions des articulations des doigts à partir d'observations multimodales et d'instructions en langage naturel, avec une inférence asynchrone par blocs d'actions (action chunks). SP-MGM, un modèle de génération de mouvement entraîné par distillation en deux étapes, reconstruit en temps réel un mouvement complet et cohérent à partir de ces cibles. Un encodeur de mouvement pré-entraîné compresse ce mouvement en représentation latente. SP-GMT, un tracker de mouvement généraliste, fusionne enfin les cibles explicites et cet a priori implicite pour piloter le corps entier. Les essais portent sur des simulations et sur un humanoïde réel, avec de meilleurs résultats annoncés en suivi de mouvement, en coordination et en taux de réussite. L'extrait disponible ne donne ni chiffres, ni nom de robot, ni liste des méthodes de comparaison. L'intérêt tient à un point de friction connu des architectures VLA pour humanoïdes. Soit la politique de haut niveau sort des actions articulaires de bas niveau, ce qui la surcharge, soit elle sort des cibles trop pauvres (par exemple la seule position des mains), ce qui laisse le corps sous-spécifié et produit des postures peu naturelles ou instables. Séparer l'intention, portée par les poses explicites, de la coordination, portée par l'a priori latent, est une réponse d'architecture plausible. Si les gains se confirment, un VLA pourrait rester léger tout en pilotant un contrôleur whole-body robuste, ce qui faciliterait l'intégration de ces briques chez les intégrateurs. Il faut rester prudent. Il s'agit d'un préprint non évalué par des pairs. Les résultats sur « un » robot réel ne disent rien de la robustesse sur des cycles longs, en environnement non contrôlé, ni de la comparaison à budget de calcul équivalent. Rien n'est annoncé sur la disponibilité du code ou des modèles, au-delà d'une page projet avec des vidéos, dont la sélection reste à nuancer. Ce travail s'inscrit dans la course à une pile « VLA plus contrôleur corps entier » pour humanoïdes. Des approches comme Helix de Figure, GR00T de NVIDIA ou les modèles Pi de Physical Intelligence partagent la même logique de hiérarchie entre planification et contrôle, avec des interfaces différentes. Le suivi de mouvement généraliste, popularisé par les travaux sur la rétro-cinématique apprise et les politiques entraînées en simulation puis transférées au réel (sim-to-real), sert ici de socle. SP-HLM est un résultat de recherche académique, sans calendrier de déploiement ni partenaire industriel annoncé. La suite probable est une validation sur davantage de tâches et de plateformes, puis une éventuelle ouverture du code, qui permettra à la communauté de vérifier la reproductibilité.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

ViT-H : contrôle génératif d'un humanoïde à partir de vidéo, avec retour de suivi du mouvement

Des chercheurs publient sur arXiv ViT-H, un cadre de contrôle « vidéo vers humanoïde » qui génère directement des mouvements de référence pour robot à partir de vidéos monoculaires. Un modèle de diffusion produit ces trajectoires sans passer par la reconstruction du mouvement humain ni par le retargeting, c'est-à-dire l'adaptation du mouvement à la morphologie du robot. Les résultats de suivi de mouvement par un contrôleur (le « tracker ») servent ensuite à post-entraîner le générateur par optimisation directe des préférences (DPO). Une variante autorégressive permet une téléopération humanoïde par vidéo en temps réel, avec une latence inférieure à 400 ms. Les expériences portent sur le Unitree G1. Les auteurs affirment que ViT-H dépasse les pipelines état de l'art en qualité de mouvement et en exécutabilité. L'extrait disponible ne donne pas de métriques chiffrées, et tout reste au stade de la recherche, sans déploiement ni produit. L'enjeu est l'exécutabilité : un mouvement plausible visuellement échoue souvent sur un robot réel, à cause des contraintes de couples, d'équilibre et de contacts. Les chaînes classiques de reconstruction, retargeting et tracking optimisent chaque étage séparément, si bien que les erreurs s'accumulent sans qu'aucune étape ne reçoive le signal du résultat final. Boucler le retour du tracker vers le générateur ressemble à ce que le RLHF a apporté aux modèles de langage. Les auteurs rapportent aussi un gain avec la taille du modèle et avec les volumes de données de pré-entraînement et de post-entraînement, et une amélioration de l'exécutabilité sur plusieurs trackers différents. Si cela se confirme, les vidéos humaines deviendraient une source de données plus exploitable pour les comportements corps entier. Il faut toutefois rester prudent : une seule plateforme est testée, la mesure se fait sur des benchmarks choisis par les auteurs, et la latence de 400 ms laisse un délai perceptible en téléopération. Ce travail s'inscrit dans la course aux données pour humanoïdes. Elle oppose la téléopération et la capture de mouvement, coûteuses, à l'apprentissage depuis des vidéos du web, bien plus abondantes. Le Unitree G1, peu cher et très répandu dans les laboratoires, est devenu la plateforme de référence pour ces recherches. Les industriels (Figure, Tesla, Nvidia avec ses modèles GR00T) misent sur des politiques généralistes entraînées à grande échelle, mais le passage de la vidéo à un mouvement robuste sur matériel reste un verrou. Les prochaines étapes à surveiller sont la publication du code et des modèles, la validation sur d'autres morphologies et des tâches de manipulation, et la preuve de robustesse hors des conditions du laboratoire.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Contrôle du corps entier d'un robot humanoïde par tokenisation stochastique des mouvements

Des chercheurs proposent une méthode de contrôle du corps entier pour humanoïdes fondée sur une tokenisation stochastique du mouvement, décrite dans un preprint arXiv (2610.36452v1). L'équipe cible une limite des politiques d'apprentissage par renforcement (RL) pilotées en vitesse, efficaces pour les quadrupèdes mais trop pauvres comme interface pour des mouvements complexes d'humanoïde. Leur approche utilise des représentations compactes du mouvement, générées par un contrôleur de haut niveau à partir d'une étiquette de comportement ou d'une commande textuelle. Ces représentations alimentent directement une politique de suivi qui reçoit ainsi une référence de mouvement détaillée. Le tokenizer stochastique reconstruit les mouvements du Unitree G1 mieux que la quantification scalaire finie (FSQ) et l'autoencodeur à quantification vectorielle (VQ-VAE), à capacité égale. Sur robot physique, l'interface discrète pilote des séquences de danse, de combat et de marche générées, de 16,8 s chacune, ainsi qu'un enchaînement combat-danse de 35 s. Pour les intégrateurs et les équipes de R&D, l'intérêt tient à l'interface entre planification et exécution. Les politiques de suivi classiques voient peu du mouvement futur, ce qui les empêche de dévier de façon contrôlée pour réussir une tâche à long terme ou de préparer une transition entre deux comportements. Un jeton de mouvement conditionné par texte ou par label offre un point d'entrée commun pour des modèles de langage ou des VLA (modèles vision-langage-action), sans recourir à une simple commande de vitesse. Les résultats restent toutefois à relativiser. Ils portent sur une seule plateforme, le G1, et sur des séquences de moins de 40 s. Le résumé ne donne aucun chiffre de taux de réussite, de robustesse ni de latence. Il ne mentionne pas non plus de manipulation, de charge utile ou de déploiement industriel. Il s'agit d'une démonstration de recherche sur des mouvements expressifs. Elle ne prouve pas encore une fiabilité exploitable en production. Ce travail s'inscrit dans la course à la commande généraliste des humanoïdes. Le G1, relativement abordable, est devenu la plateforme standard des laboratoires, et le suivi de mouvements humains par RL s'est généralisé dans l'académie comme chez les acteurs industriels. La tokenisation discrète du mouvement vient du monde de la génération de mouvements, où VQ-VAE et FSQ sont des références. Les auteurs s'en servent comme pont avec les politiques de contrôle. Les prochaines étapes à surveiller sont la validation sur d'autres morphologies, l'ajout de tâches de locomotion-manipulation et la mesure de la robustesse face aux perturbations. Le texte ne cite aucun pilote commercial ni calendrier. Il faudra donc attendre le code, les vidéos non sélectionnées et des comparaisons directes avec les contrôleurs concurrents pour juger de l'apport réel.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

ADAPT : des amorces de diffusion agiles et pilotables pour un contrôle robuste d'humanoïdes en ligne, guidé par texte

Un preprint publié sur arXiv (référence 2609.00677v1) décrit ADAPT (Agile Diffusion Action Priors), un framework de contrôle interactif du corps entier de robots humanoïdes piloté par texte. Contrairement aux pipelines texte-vers-mouvement dominants, qui génèrent une trajectoire suivie ensuite par un contrôleur séparé, ADAPT fonctionne en boucle fermée de bout en bout : le robot répond en continu aux commandes tout en gardant l'équilibre et des transitions fluides. Il apprend un prior d'action par diffusion à partir de trajectoires état-action annotées en texte, complété par une politique résiduelle d'apprentissage par renforcement entraînée sur le contrôleur gelé pour améliorer la robustesse entre consignes. L'abstract ne précise ni plateforme robotique testée, ni charge utile, degrés de liberté ou temps de cycle. L'intérêt tient à la fusion, en une seule boucle, de la génération de mouvement et de son exécution : les systèmes actuels séparent souvent un module texte-vers-mouvement d'un contrôleur bas niveau, ce qui crée latence et ruptures dès qu'une commande change. ADAPT vise des humanoïdes plus réactifs au langage naturel, un enjeu pour les intégrateurs voulant doter leurs robots d'interfaces conversationnelles en entrepôt ou en usine. Il suggère aussi que les priors d'action par diffusion combinés au renforcement, dans la lignée de travaux comme Pi-0 ou GR00T N2, forment une base viable pour du contrôle général, sans toutefois de déploiement physique ni de comparaison chiffrée démontrés : la contribution reste académique, non encore validée par relecture par les pairs. Ce travail s'inscrit dans la course menée par des laboratoires et entreprises comme Figure AI avec Helix, NVIDIA avec GR00T N2 ou Physical Intelligence avec Pi-0, pour doter les humanoïdes de piles vision-langage-action capables de suivre des instructions en langage naturel plutôt que des routines préprogrammées. Là où ces acteurs couplent souvent de grands modèles multimodaux à des primitives de mouvement, ADAPT propose des priors d'action par diffusion entraînés sur des données texte-état-action, complétés par du renforcement, comme alternative plus légère en boucle fermée. Aucun acteur français ou européen du secteur, comme Wandercraft ou Pollen, n'apparaît dans cette publication. Les suites attendues, non détaillées dans l'abstract, sont une réplication indépendante et une validation sur robot physique.

RechercheActu

1 source