RecherchearXiv cs.RO 28 septembre 2026

Générer, suivre, améliorer : locomotion humanoïde multi-compétences perceptive via générateurs de mouvement affinés par apprentissage par renforcement

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche a publié le 28 septembre sur arXiv (référence 2609.31577) une architecture de locomotion en deux couches pour robots humanoïdes, baptisée "Generate, Track, Improve", testée sur un Unitree G1. Le système associe un générateur de mouvement par flow matching, qui planifie des trajectoires corps entier à partir d'images de profondeur brutes, à une politique de suivi entraînée par apprentissage par renforcement guidé par le contrôle. Les deux modules s'appuient sur une bibliothèque de clips de mouvement dérivés de données humaines optimisées dynamiquement pour rester cohérents avec le terrain. La contribution centrale est une boucle de réglage fin par RL hors politique (off-policy), combinant recherche structurée et régression pondérée par l'avantage, présentée comme plus économe en données qu'un réglage résiduel classique en politique (on-policy). Les auteurs annoncent une hausse allant jusqu'à 25 points de pourcentage des franchissements de terrain réussis et jusqu'à 80 points pour la sélection de compétence. Avec deux caméras de profondeur seulement, sans odométrie ni carte de hauteur, une seule paire de politiques permet au G1 de marcher, courir, sauter sur des caisses et gravir des escaliers en extérieur, en adaptant sa vitesse au relief perçu à distance.

Pour l'industrie robotique, ce travail cible deux limites connues des humanoïdes actuels: la dépendance à des cartes de terrain préconstruites ou à une odométrie précise, et l'écart persistant entre démonstrations en simulation et robustesse réelle. En montrant qu'une seule paire de politiques suffit à enchaîner plusieurs compétences en extérieur à partir de vision brute, l'étude conforte l'idée que des architectures de type génération de mouvement plus suivi, dans l'esprit des modèles VLA employés en manipulation comme Pi-0 ou GR00T N2, peuvent s'étendre à la locomotion perceptive multi-compétences. C'est un signal utile pour les intégrateurs cherchant des contrôleurs capables de généraliser à des géométries de terrain inédites sans recalibration lourde, condition pour des usages en logistique extérieure, chantier ou inspection. Il s'agit toutefois de résultats de recherche publiés sur arXiv, mesurés sur les benchmarks propres des auteurs, et non d'un produit commercialisé ni d'un déploiement en flotte.

Le choix du Unitree G1 comme plateforme d'essai confirme son rôle de banc de test de référence pour la recherche académique en locomotion humanoïde, aux côtés d'autres travaux sur le contrôle par renforcement et les modèles génératifs de mouvement. L'approche se positionne explicitement contre le fine-tuning résiduel on-policy, jugé plus coûteux en échantillons, en proposant une alternative off-policy plus sobre en calcul. Aucun acteur français ou européen n'apparaît dans cette publication, qui reste à ce stade un article de recherche accompagné d'une page projet, sans calendrier de transfert vers un produit ni pilote industriel annoncé. La suite logique, non confirmée par les auteurs, consisterait à valider l'architecture sur d'autres plateformes humanoïdes ou à l'associer à des tâches de manipulation pour former une pile complète perception-locomotion-manipulation.

Dans nos dossiers

Unitree NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage de priors moteurs hybrides réutilisables pour la locomotion humanoïde par imitation de mouvement

Une équipe de recherche propose un pipeline en trois étapes pour transformer l'imitation de mouvement humain en un "hybrid motion prior" (HMP) réutilisable pour la locomotion humanoïde. D'abord, une politique experte est entraînée par apprentissage par renforcement à imiter des séquences de motion capture humaine retargetées sur un squelette robotique. Cette expertise est ensuite distillée dans une architecture figée composée d'un encodeur proprioceptif, d'un codebook RVQ (residual vector-quantized) et d'un décodeur d'actions. Enfin, des politiques spécifiques à chaque tâche sont entraînées à sélectionner des entrées discrètes de ce codebook, sans jamais réentraîner le HMP sous-jacent. La méthode est évaluée en simulation sur trois tâches : suivi de vitesse, navigation vers un point cible, et récupération de chute avec suivi de vitesse. La politique de suivi de vitesse a ensuite été déployée sur un robot réel, un Unitree G1. Les chercheurs montrent aussi qu'entraîner le codebook avec un "rotation trick" plutôt qu'un estimateur straight-through classique améliore l'organisation de l'espace latent et réduit le nombre de chutes en aval. L'intérêt principal tient à la réutilisabilité : au lieu d'entraîner une politique RL distincte par tâche avec sa propre fonction de récompense, un seul module d'action reste figé et sert d'interface commune à plusieurs politiques de haut niveau. Cela répond à une limite connue de l'imitation de mouvement, dont les contrôleurs restent généralement de simples "suiveurs" de référence, inutilisables tels quels pour résoudre une tâche. Le codebook obtenu s'avère aussi interprétable : le nombre d'étages RVQ actifs module directement les types de démarche disponibles, un signal utile pour du contrôle hiérarchique. Pour les équipes qui construisent des piles logicielles humanoïdes, cette approche s'inscrit dans la même logique que les bibliothèques de compétences motrices low-level découplées des politiques de tâche, un principe partagé par des modèles VLA comme Pi-0, GR00T N2 ou Helix, même si ceux-ci ciblent surtout la manipulation. Ce travail s'inscrit dans la lignée des méthodes d'imitation de mouvement pour humanoïdes (type DeepMimic, ASE) qui cherchent depuis plusieurs années à extraire des priors moteurs génériques à partir de données de capture humaine. Le déploiement reste toutefois limité à un seul robot et une seule tâche testée en réel, la navigation et la récupération de chute n'ayant été validées qu'en simulation. Les auteurs présentent cela comme une brique réutilisable, ouvrant la voie à d'autres politiques de tâche construites sur le même HMP sans nouveau cycle d'entraînement complet.

RecherchePaper

1 source

2arXiv cs.RO

M³P-R1 : apprentissage par renforcement guidé par un LLM pour la planification de mouvement multimodale via génération de code MIP

Des chercheurs publient sur arXiv (article 2609.18669v1, daté du 17 septembre 2026, catégorie "nouveauté") une méthode baptisée M$^3$P-R1, destinée à la planification de mouvement multi-modale (M$^3$P) pour robots devant enchaîner transitions discrètes et dynamiques continues, par exemple un robot bipède qui marche jusqu'à une cible puis utilise ses bras pour saisir un objet. La méthode s'appuie sur l'apprentissage par renforcement pour affiner des grands modèles de langage (LLM) afin qu'ils décomposent une tâche M$^3$P en variables, contraintes et objectifs de programmation en nombres entiers mixtes (Mixed-Integer Programming, MIP). Plutôt que de faire produire directement une réponse au LLM, ce qui expose au risque d'hallucination, M$^3$P-R1 génère du code Python exécutable s'appuyant sur des bibliothèques d'optimisation MIP et des interfaces de contraintes, avec une récompense fondée sur le résultat effectivement retourné par le solveur. L'enjeu est de rendre systématique une étape aujourd'hui largement manuelle et spécifique à chaque domaine: formuler un problème MIP tractable pour des tâches robotiques non convexes, en particulier dans le régime de discrétisation approximative nécessaire à ce type de problème. En couplant génération de code par LLM et vérification par un solveur formel, l'approche vise une garantie de robustesse absente des politiques bout-en-bout de type VLA (vision-langage-action) qui dominent actuellement la communication autour de l'humanoïde. Pour les intégrateurs et équipes de recherche en planification robotique, cela ouvre une piste alternative où le LLM sert d'interface de programmation vers un optimiseur classique plutôt que de policy générative opaque. Le travail s'inscrit dans la lignée des recherches combinant LLM et génération de code comme pont vers des solveurs formels en robotique, en marge des approches d'apprentissage de bout en bout du type Pi-0, GR00T N2 ou Helix. Il s'agit à ce stade d'un article de recherche déposé sur arXiv, sans partenaire industriel, plateforme robotique ni déploiement cités dans le résumé, et donc sans validation par les pairs ni démonstration matérielle rapportées pour l'instant.

RecherchePaper

1 source

3arXiv cs.RO

ViLoMan : apprentissage de compétences de loco-manipulation du corps entier par vision et proprioception pour robots humanoïdes

Le laboratoire à l'origine du projet ViLoMan, publié en preprint sur arXiv (arXiv:2609.19340, soumission anonyme en relecture en double aveugle, page projet viloman-anonymous.pages.dev), présente un système d'apprentissage pour la loco-manipulation autonome des robots humanoïdes. La méthode transforme des démonstrations humaines partielles, capturées de façon cinématique lors d'interactions homme-objet, en trajectoires robotiques complètes et physiquement exécutables. Ces trajectoires alimentent ensuite un entraînement par distillation enseignant-élève, qui produit une politique unique convertissant des observations de profondeur en vision égocentrique et des mesures proprioceptives directement en commandes articulaires pour l'ensemble du corps. Une fois déployée, cette politique ne nécessite ni mouvement de référence ni commande intermédiaire. Les auteurs l'ont testée sur des tâches de fermeture de porte, avec des configurations de porte et des positions de départ variées, en simulation puis sur un robot réel Unitree G1, montrant qu'une seule politique suffit à accomplir la tâche uniquement à partir des capteurs embarqués. Ce travail s'attaque à deux obstacles centraux du secteur : la rareté de données d'interaction robot-objet physiquement réalisables, et la difficulté d'apprendre un contrôle unifié du corps entier à partir des seules observations embarquées, sans capture de mouvement externe ni téléopération lourde. En démontrant un transfert simulation-réel fonctionnel avec un capteur de profondeur et la proprioception seuls, l'étude apporte un contre-exemple concret à l'hypothèse selon laquelle les politiques de loco-manipulation humanoïde exigent nécessairement de vastes jeux de données téléopérées coûteux à constituer. Pour les intégrateurs et décideurs robotique, l'intérêt réside surtout dans la méthode de conversion des démonstrations humaines en données d'entraînement robot exploitables, une piste alternative aux pipelines de collecte par téléopération utilisés par des acteurs comme Figure ou Physical Intelligence. ViLoMan s'inscrit dans la compétition croissante autour des politiques vision-langage-action et des architectures de contrôle whole-body pour humanoïdes, aux côtés d'approches commerciales comme Helix de Figure, GR00T N2 de Nvidia ou Pi-0 de Physical Intelligence, qui reposent largement sur des données de téléopération à grande échelle. Ici, l'origine académique et le statut anonyme de la soumission signalent une contribution de recherche encore au stade du laboratoire, validée sur une seule tâche restreinte de fermeture de porte plutôt que déployée en conditions industrielles. Les prochaines étapes attendues concernent l'extension à d'autres tâches de manipulation et à des environnements plus variés avant toute perspective de déploiement réel.

RecherchePaper

1 source

4arXiv cs.RO

Accélérer et étendre l'apprentissage par renforcement guidé par MPC pour la locomotion et la manipulation humanoïdes

Une équipe de recherche publie sur arXiv (arXiv:2606.05687v1) une méthode hybride MPC-RL pour le contrôle moteur des robots humanoïdes, baptisée MPC-RL. Le principe : intégrer un contrôleur prédictif par modèle (MPC) directement dans la boucle d'entraînement par renforcement (RL), en utilisant les trajectoires générées par le MPC comme signal de récompense basé sur la dynamique centroïdale du robot. La contribution technique centrale est un solveur GPU appelé pi-n-MPC, parallélisé à la fois sur l'horizon temporel et sur les instances de simulation, sans nécessiter de précompilation ni de construction explicite du problème à chaque pas. Les auteurs reportent des validations sur hardware réel, sans préciser les plateformes matérielles ni les cycles de tests. Le code est disponible en open source sur GitHub. L'enjeu industriel derrière ce travail est réel : le RL massif en simulation parallèle (Isaac Gym, Mujoco MJX) est devenu le standard pour entraîner des compétences de locomotion et de manipulation humanoïde, mais y injecter un MPC est historiquement coûteux en temps de construction et en mémoire GPU. Pi-n-MPC contourne ces deux goulots d'étranglement en opérant directement sur des dynamiques variables dans le temps, sans accumuler de mémoire excessive. Si les gains revendiqués se confirment à l'échelle, cela ouvre la voie à des politiques hybrides MPC/RL entraînables sur des clusters GPU standard, sans infrastructure spécialisée. Attention toutefois : le papier s'appuie sur des études comparatives internes et des validations hardware dont les conditions exactes (charges, cycles, environnements) ne sont pas détaillées dans le résumé disponible, ce qui limite l'évaluation externe des performances annoncées. La combinaison MPC-RL n'est pas nouvelle dans la recherche en locomotion : des travaux comme ceux de DeepMind sur le contrôle de quadrupèdes ou les approches whole-body de CMU et ETH Zurich ont exploré des directions similaires. La spécificité ici réside dans l'accent mis sur la scalabilité GPU et l'absence de précompilation, deux verrous pratiques qui freinent l'adoption dans les pipelines d'entraînement industriels. Les acteurs qui déploient activement des humanoïdes en environnement réel, comme Figure AI, Apptronik ou Agility Robotics, travaillent tous à réduire le sim-to-real gap sur la manipulation dextre : une infrastructure d'entraînement MPC-RL plus légère pourrait accélérer leurs cycles d'itération. La prochaine étape naturelle serait une validation sur des plateformes nommées et des tâches de manipulation avec contraintes de contact.

RecherchePaper

1 source